선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 교육정책을 수립하기 위한 의제 혹은 어젠다를 설정할 때 대중의 여론을 반영하기 위한 방법으로 블로그와 트위터와 같은 소셜미디어서비스기반의 데이터에 대하여 감정분석을 실시하였다.
- 문서의 극성은 문서에 있는 단어 단위로 분석을 진행하고, 그 누적된 결과를 활용하여 문서 단위로 극성을 판단한다. 본 연구에서는 수집한 모든 문서를 대상으로 공백, 줄바꿈과 문장부호 기준으로 단어 단위의 토큰으로 분리하는 작업을 진행한다. <표 6>은 문장을 토큰화 한 결과 예시이다.
- 본 연구의 목적은 소셜미디어 기반 데이터 분석을 통해 특정 교육정책에 대한 여론의 동향을 파악하는 것이다. 이를 위해 주요 교육정책관련 키워드를 선정하고, 네이버 블로그, 트위터와 같은 소셜미디어 서비스를 대상으로 키워드를 포함하는 문서를 수집하였다.
제안 방법
- 수집한 문서를 데이터 전처리를 통해 토큰화 하고, 오픈한글 사전으로부터 구축한 감성사전을 활용하여, 해당 문서의 교육정책 키워드에 대한 감정점수를 산정하였다. 그리고 마지막으로 극성분류 기준을 반영하여 최종적으로 문서에 대한 극성을 분류하였다.
- 둘째, 오피니언으로 구성된 문장을 인식하고 세부 평가요소를 분류한다. 이때 첫 번째 단계에서 구축되어 분류된 감성관련 어휘 정보를 사용한다.
- 이 수식을 적용하여 감정 점수를 계산하기 위해서는 기준 단어 집합을 정의하는 것이 중요하며, 기준 단어의 검색수가 너무 많거나 적을 경우 감정자질의 극성을 판단하는데 있어 왜곡이 생길 수 있고, 이로 인해 정확한 극성 구분이 불가능 할 수 있다. 따라서, 본 연구에서는 이러한 왜곡을 줄이고, 잘못 해석 될 수 있는 가능성을 최소한으로 줄이기 위하여 오픈한글 API를 통해 얻은 감정 점수와 감정을 기준으로 감정점수가 100%인 긍정어, 부정어들 중에서 출현빈도가 가장 높은 상위 10개 단어를 선정하여 분석에 사용하였다. <표 8>은 감정점수 계산에 사용되는 기준단어인 긍정과 부정어 단어 집합을 나타낸다.
- 아래 <그림 2>은 “너무 재미있고”라는 부사와 형용사의 조합으로 구성된 감정자질의 감정 점수를 계산하는 예시이다. 먼저 네이버 블로그에서 감정 자질과 긍정, 부정 단어 집합들이 함께 쓰인 블로그 건수를 수집 한다. 이러한 검색건수를 바탕으로 위에서 설명한 수식에 대입하여 감정 점수의 값을 구하면 “너무 재미있고” 라는 감정 자질은 예시에서 보여주는 바와 같이 0.
- 문서의 극성은 문서에 있는 단어 단위로 분석을 진행하고, 그 누적된 결과를 활용하여 문서 단위로 극성을 판단한다. 본 연구에서는 수집한 모든 문서를 대상으로 공백, 줄바꿈과 문장부호 기준으로 단어 단위의 토큰으로 분리하는 작업을 진행한다.
- 본 연구에서는 각 문서에서 추출한 감정 자질 문구의 감정 점수를 각 감정자질이 긍정 단어와 함께 쓰였을 때와 부정 단어와 함께 쓰였을 때의 문서 검색결과수의 비로 표시 하고, 그 값의 합의 평균을 감정점수로 산출하였으며, 감정점수 수식은 다음과 같다.
- 본 연구에서는 기존 연구를 통해 구축된 오픈한글 API를 이용하여 감성 사전 데이터베이스로부터 감정자질을 추출한다. 오픈 한글은 한글 오픈데이터 플랫폼으로써 한글의 자연어 처리뿐만 아니라 감정 분석에 관련한 API를 제공하는 서비스이다.
- 본 연구에서는 수집한 문서들을 대상으로 위와 같은 감정 자질 추출의 절차를 거쳐서 감정 자질을 추출하였고, 적어도 한 개 이상의 감정자질이 추출된 문서들에 대해서 감정분석 작업을 진행하였다.
- 트위터 API를 통하여 사용자, 작성시간, 트위터 콘텐트 지리적 위치, 해쉬 태그, 리트윗 관련정보 등을 가져올 수 있다. 본 연구에서는 트위터 API 수집기를 이용하여 수집한 데이터 중에서 사용자, 작성 시간, 트위터 콘텐트 등 속성들을 추출하여 연구에서 사용하였다.
- <표 8>은 감정점수 계산에 사용되는 기준단어인 긍정과 부정어 단어 집합을 나타낸다. 본 연구에서는 특정 감정 자질의 감정점수를 계산하기 위해 아래 표에 나타낸 극성단어와 함께 등장한 문서 수를 이용하였다.
- 셋째, 텍스트의 긍정과 부정 표현의 출현 빈도수를 기반으로 극성분류기준을 만들고 그에 따라 문서의 극성을 분류한다.
- 이를 위해 주요 교육정책관련 키워드를 선정하고, 네이버 블로그, 트위터와 같은 소셜미디어 서비스를 대상으로 키워드를 포함하는 문서를 수집하였다. 수집한 문서를 데이터 전처리를 통해 토큰화 하고, 오픈한글 사전으로부터 구축한 감성사전을 활용하여, 해당 문서의 교육정책 키워드에 대한 감정점수를 산정하였다. 그리고 마지막으로 극성분류 기준을 반영하여 최종적으로 문서에 대한 극성을 분류하였다.
- 위와 같은 히스토그램을 바탕으로 본 연구에서는 분석 대상 문서의 감정을 긍정, 중립, 부정 3가지로 분류하였으며, 이 때 극성분류의 기준은 평균값(mu)과 표준편차(sigma)를 이용하여(-inf, mu-0.5*sigma), (mu-0.5*sigma, mu+0.5*sigma), (mu+0.5*sigma, inf)으로 계산하였다.
- 본 연구에서는 교육정책을 수립하기 위한 의제 혹은 어젠다를 설정할 때 대중의 여론을 반영하기 위한 방법으로 블로그와 트위터와 같은 소셜미디어서비스기반의 데이터에 대하여 감정분석을 실시하였다. 이를 위하여 감정분류기법인 PMI-IR기법에 확률밀도함수 개념을 적용하여 연속선상의 감정 극성분류기준을 만들고 수집된 문서를 분류하였다. <표 11>에서는 이러한 3가지 정책에 대한 감정분석 결과를 파악할 수 있으며, 결과를 분석하면 다음과 같다.
- 서민송·유환희(2017)는 오피니언 마이닝이 감성분석을 의미하고, 사람들의 태도, 의견, 성향과 같은 데이터를 활용하여 특정 주제에 대해 긍정적 혹은 부정적인지를 분류하는 기술이라고 하였다. 즉, 오피니언 마이닝은 문서의 주제가 무엇인지 찾아내는 것 보다는, 그 문서의 저자가 주제에 대하여 가지고 있는 감정을 분석한다. 오피니언 마이닝의 개념은 다양한 연구에 활용되고 있는데, 박경미 외(2011)는 오피니언 마이닝을 활용하여 어떤 사안에 대한 여론 혹은 대중의 관심이 시간이 지남에 따라 변하는 특징을 활용하여 맛집이나 휴대폰 등의 리뷰 변화에 대하여 분석하였고, 정은희·이병관(2015)은 오피니언 마이닝은 감성 사전을 구축하여 분석에 사용하는 반면, 텍스트 마이닝은 입력 데이터의 패턴에 대한 학습을 통해 다른 데이터를 예측하는 차이점이 있다고 하였다.
- 첫째, 분석은 문서 단위로 이루어지며, 문서로부터 긍정이나 부정을 표현하는 어휘와 문구를 추출하고, 긍정과 부정을 표현하는 기준단어로 구성된 감성사전을 구축한다.
- 추출한 감정 자질들에 대한 감정점수를 계산하기 위해 기존 감정분석 연구에서 일반적으로 적용되는 PMI-IR(Pointwise Mutual Information-Information Retrieval)(Turney, 2002)을 활용하여, 본 연구의 취지에 맞게 수식을 설계하였다. PMI는 PMI-IR 알고리즘은 문구(Phrase)의 의미적 지향성을 측정하기 위하여 사용된다.
- 특히 키워드의 경우에는 일치검색 조건을 이용한 “키워드”로 검색하도록 하여 수집하였다.
대상 데이터
- JAVA 프로그래밍 언어를 기반으로 자체 웹크롤러를 개발하여 네이버 블로그의 데이터를 수집하였으며, 세부 내용은 다음과 같다.
- 교육정책에 대한 소셜미디어 기반 여론의 감정분석을 실시하기 위하여 여러 소셜미디어 서비스 중에서 네이버 블로그와 트위터 두 서비스를 대상으로 데이터를 수집하였다. 다음 블로그는 다음에서 제공하는 API 서비스를 사용하는 응용프로그램에 대해 제한적으로 무료서비스를 제공하고, API 트래픽 쿼터 정책이 엄격하게 적용되는 등 제약조건이 많아 연구를 위한 데이터 수집에 적절하지 않으며, 페이스북과 같은 소셜네트워크서비스는 데이터 수집을 위해서 개인 혹은 그룹 내 구성원들의 동의를 얻어야 하는 문제가 있어 데이터 수집이 비교적 용이한 네이버 블로그와 트위터를 대상으로 선정하였다.
- 소셜미디어 기반 빅데이터 분석을 위한 교육 정책관련 키워드를 선정하기 위해 본 연구에서는 기초자료로 2015 교육정보화백서를 중심으로 2016 교육부 업무계획, 교육유관기관 교육정책연구협의회 자료를 활용하였다. 교육정책은 지능정보사회 도래에 따라 관심을 받고 있는 스마트 교육 정책과 소프트웨어 교육 정책, 그리고, 일반정책 그룹으로 구분하여 후보 키워드들을 추출하였고, 교육관련 분야 박사 9명으로 구성된 전문가 협의회 검토를 거쳐 데이터 분석 키워드를 최종적으로 선정하였다.
- 교육정책에 대한 소셜미디어 기반 여론의 감정분석을 실시하기 위하여 여러 소셜미디어 서비스 중에서 네이버 블로그와 트위터 두 서비스를 대상으로 데이터를 수집하였다. 다음 블로그는 다음에서 제공하는 API 서비스를 사용하는 응용프로그램에 대해 제한적으로 무료서비스를 제공하고, API 트래픽 쿼터 정책이 엄격하게 적용되는 등 제약조건이 많아 연구를 위한 데이터 수집에 적절하지 않으며, 페이스북과 같은 소셜네트워크서비스는 데이터 수집을 위해서 개인 혹은 그룹 내 구성원들의 동의를 얻어야 하는 문제가 있어 데이터 수집이 비교적 용이한 네이버 블로그와 트위터를 대상으로 선정하였다.
- 소셜미디어 기반 빅데이터 분석을 위한 교육 정책관련 키워드를 선정하기 위해 본 연구에서는 기초자료로 2015 교육정보화백서를 중심으로 2016 교육부 업무계획, 교육유관기관 교육정책연구협의회 자료를 활용하였다. 교육정책은 지능정보사회 도래에 따라 관심을 받고 있는 스마트 교육 정책과 소프트웨어 교육 정책, 그리고, 일반정책 그룹으로 구분하여 후보 키워드들을 추출하였고, 교육관련 분야 박사 9명으로 구성된 전문가 협의회 검토를 거쳐 데이터 분석 키워드를 최종적으로 선정하였다.
- 본 연구의 목적은 소셜미디어 기반 데이터 분석을 통해 특정 교육정책에 대한 여론의 동향을 파악하는 것이다. 이를 위해 주요 교육정책관련 키워드를 선정하고, 네이버 블로그, 트위터와 같은 소셜미디어 서비스를 대상으로 키워드를 포함하는 문서를 수집하였다. 수집한 문서를 데이터 전처리를 통해 토큰화 하고, 오픈한글 사전으로부터 구축한 감성사전을 활용하여, 해당 문서의 교육정책 키워드에 대한 감정점수를 산정하였다.
- 크롤러의 구조는 <그림 1>과 같다. 총 3단계를 거쳐 네이버 블로그의 문서 수집을 진행하였으며 키워드 및 수집 기간 등 다양한 변수 설정을 통해 원하는 조건에 맞는 데이터를 수집하였다. 특히 키워드의 경우에는 일치검색 조건을 이용한 “키워드”로 검색하도록 하여 수집하였다.
이론/모형
- 또한 트위터는 REST API와 Streaming API 두 가지 방식을 제공하는데, REST API는 특정 단어의 검색 결과, 특정 사용자 정보와 같은 특정 작업을 수행하는데 적절하고 Streaming API는 트위터 데이터를 실시간으로 받아볼 때 사용한다. 본 연구에서는 REST API의 Search API를 사용하였으며, 트위터의 외부에서의 인증을 위해서 OAuth인증 방식을 사용하고 있다. OAuth인증 방식은 Service가 인증정보를 가지고 있는 User가 Service의 인증정보 로 Consumer사이트를 이용하려는 것이다.
- 트위터는 다수의 기능을 OpenAPI로 제공하고 있으며, 다양한 업체들이 OpenAPI를 통해서 트위터 데이터를 분석하거나 검색하며, 클라이언트 애플리케이션을 개발하고 있다. 본 연구에서도 트위터 데이터를 수집하기 위하여 트위터가 제공하는 OpenAPI를 사용하였다. 현재 java로 된 트위터 라이브러리로는 Twitter4J, java-twitter, jtwitter, Twitter Client 등이 있으며, 이중에서 Twitter4J를 선택하였다.
성능/효과
- 첫 번째, 교육정책 중에서도 정보화 정책이라고 할 수 있는 “소프트웨어교육”과 “스마트교육”정책에 비해서 “일반정책”에 대한 감정분석 결과가 비교적 부정적으로 나타났으며, 이는 일반 대중에게 방송이나 뉴스 등을 통해서 노출되는 정책 키워드의 빈도수 차이이거나 일반 교육정책과 정보화정책의 차이 때문에 생기는 결과일 수 있다. 두 번째, 3가지 정책 모두 중립인 감정의 비율이 30%이상을 나타내고 있는 것은 교육관련 정책에 대해서는 블로그나 트위터를 통해서 감정의 극성이 치우진 의견이 많이 나타나지 않는다는 것을 보여준다. 마지막으로 전체 수집한 4,509건 중에서 감정자질이 추출되지 않은 문서가 938건으로 약 20%나 된다는 것은 우리나라의 소셜미디어가 생산하는 문서들에 저자의 감정 자질 자체가 발견되지 않는 것으로서 단순히 뉴스를 링크한다거나, 특정 주제를 중심으로 사실적인 내용만 기술이 되어 있는 경우가 될 것이다.
- 2%를 나타내어 대체적으로 중립에서 긍정적인 감정으로 나타났다. 디지털교과서, 이러닝, 스마트러닝 등의 키워드로 수집된 스마트교육관련 문서들에 대해서는 긍정이 205건으로 28.6%, 중립이 261건으로 36.4%, 부정이 252건으로 35%를 나타내어 중립에서 부정적인 감정으로 나타났다. 또한 자유학기제나 융·복합 교육 등의 키워드로 수집된 일반정책 문서들은 긍정이 999건으로 25.
- 또한 자유학기제나 융·복합 교육 등의 키워드로 수집된 일반정책 문서들은 긍정이 999건으로 25.5%, 중립이 35.6%, 부정이 38.9%를 나타내어 부정적인 감정이 가장 크게 나타났다.
- 본 연구를 통해 웹2.0시대를 뛰어넘어 빅데이터 시대를 맞이하는 현 시점에서 여론형성의 큰 부분을 차지하는 소셜미디어 기반 문서들의 감정분석을 실시하는 실험을 통해 교육정책에 대한 여론 동향을 파악하는 것이 가능함을 보여주었다. 또한 웹 2.
- 소프트웨어교육, 컴퓨터적 사고, 코딩교육 등의 키워드로 수집된 소프트웨어 교육 정책 문서들은 긍정이 319건으로 32.3%, 중립이 381건으로 38.5%, 부정이 289건으로 29.2%를 나타내어 대체적으로 중립에서 긍정적인 감정으로 나타났다. 디지털교과서, 이러닝, 스마트러닝 등의 키워드로 수집된 스마트교육관련 문서들에 대해서는 긍정이 205건으로 28.
- 첫 번째, 교육정책 중에서도 정보화 정책이라고 할 수 있는 “소프트웨어교육”과 “스마트교육”정책에 비해서 “일반정책”에 대한 감정분석 결과가 비교적 부정적으로 나타났으며, 이는 일반 대중에게 방송이나 뉴스 등을 통해서 노출되는 정책 키워드의 빈도수 차이이거나 일반 교육정책과 정보화정책의 차이 때문에 생기는 결과일 수 있다.
후속연구
- 또한 이번 연구에서는 오피니언 마이닝 기법을 활용하여 불특정 다수가 생산한 문서에 대한 감정분석만을 실시 하였지만, 향후에는 특정한 저자들을 대상으로 감정성 향을 분석하여 저자의 감정성향과 문서 극성과의 관계나, 결과적으로 소셜미디어 여론에 끼치는 영향 등 다양한 관점의 소셜미디어 기반 여론분석을 시도해 볼 수 있을 것이다. 나아가서는 정보보호 정책, 국가 정보화 정책 등 다양한 분야에서 이러한 소셜미디어 기반의 여론을 정책에 반영하기 위한 데이터 분석 연구로 확대를 하는 시발점이 될 것으로 판단된다.
- 0 기술이 발전하면서, 이미 웹 기반의 문서들을 데이터베이스화하여 분석 할 수 있는 다양한 기술과 방법론에 대한 연구가 많이 진행되어 왔기 때문에 앞으로 남은 과제는 이러한 방법 론들을 통해 소셜미디어를 통해서 대량으로 생산되는 빅데이터를 활용하여 데이터를 분석하는 숙제가 남았다고 할 수 있다. 또한 본 연구는 2016년 5월 ~ 8월까 지 약 4개월간 데이터를 수집하여 분석하였지만, 향후에는 데이터 수집을 연단위로 실시하여 정책에 대한 여론감정의 트렌드 분석과 함께 시계월별 비교 등 향후 정책 수립에 기여할 수 있는 연구로 확대 진행해야 할 것이다.
- 또한 이번 연구에서는 오피니언 마이닝 기법을 활용하여 불특정 다수가 생산한 문서에 대한 감정분석만을 실시 하였지만, 향후에는 특정한 저자들을 대상으로 감정성 향을 분석하여 저자의 감정성향과 문서 극성과의 관계나, 결과적으로 소셜미디어 여론에 끼치는 영향 등 다양한 관점의 소셜미디어 기반 여론분석을 시도해 볼 수 있을 것이다.
- 또한 향후 연구에서는 감정자질을 추출하는 감성사전을 집단지성기반의 오픈 API를 활용하는 것에서 나아가, 오피니언 마이닝에서 활용되는 기계학습 방법을 활용, 데이터 분류기준을 구축하여 더 정확하고, 확률 높은 극성분류를 하는 시도를 해볼 수 있을 것이다. 또한 이번 연구에서는 오피니언 마이닝 기법을 활용하여 불특정 다수가 생산한 문서에 대한 감정분석만을 실시 하였지만, 향후에는 특정한 저자들을 대상으로 감정성 향을 분석하여 저자의 감정성향과 문서 극성과의 관계나, 결과적으로 소셜미디어 여론에 끼치는 영향 등 다양한 관점의 소셜미디어 기반 여론분석을 시도해 볼 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.