[논문]뉴스와 소셜 데이터를 활용한 텍스트 기반 가짜 뉴스 탐지 방법론

현윤진; 김남규

doi:10.7838/jsebs.2018.23.4.019

뉴스와 소셜 데이터를 활용한 텍스트 기반 가짜 뉴스 탐지 방법론
Text Mining-based Fake News Detection Using News And Social Media Data 원문보기

한국전자거래학회지 = The Journal of Society for e-Business Studies, v.23 no.4, 2018년, pp.19 - 39

현윤진 (Graduate School of Business IT, Kookmin University) , 김남규 (School of Management Information Systems, Kookmin University)

초록
AI-Helper

최근 가짜 뉴스가 분야를 막론하고 전 세계에서 주목을 받고 있으며, 현대경제연구원에서는 이러한 가짜 뉴스로 인한 피해 규모가 연간 약 30조 900억원에 달하는 것으로 추산하였다. 정부에서는 "가짜 뉴스 찾기"를 주제로 "인공지능 R&D 챌린지" 대회를 개최하여 가짜 뉴스를 가려낼 인공지능 원천기술 개발에 대한 첫 걸음을 내딛고 있으며, 민간 차원에서도 다양한 분야에서 팩트 체크 서비스가 제공되고 있다. 학계에서도 가짜 뉴스를 탐지하기 위한 시도가 전문가 기반, 집단지성 기반, 인공지능 기반, 시맨틱 기반 등으로 활발하게 이루어지고 있다. 하지만 이러한 시도는 조작의 정밀도가 높을수록 뉴스 자체에 대한 분석만으로 진위 여부를 식별하기가 더욱 어렵다는 한계를 경험하고 있으며, 가짜 뉴스 탐지 모델의 정확도가 과평가된 경향을 보이고 있다. 따라서 본 연구에서는 가짜 뉴스 탐지 모델 정확도의 공정성을 확보하고, 뉴스의 내용뿐만 아니라 해당 뉴스에 대한 반응으로 자연적으로 발생한 광범위한 소셜 데이터를 활용하여 뉴스의 진위 여부를 판정하는 방안을 제안하고자 한다.

Abstract ▼ AI-Helper

Recently, fake news has attracted worldwide attentions regardless of the fields. The Hyundai Research Institute estimated that the amount of fake news damage reached about 30.9 trillion won per year. The government is making efforts to develop artificial intelligence source technology to detect fake news such as holding "artificial intelligence R&D challenge" competition on the title of "searching for fake news." Fact checking services are also being provided in various private sector fields. Nevertheless, in academic fields, there are also many attempts have been conducted in detecting the fake news. Typically, there are different attempts in detecting fake news such as expert-based, collective intelligence-based, artificial intelligence-based, and semantic-based. However, the more accurate the fake news manipulation is, the more difficult it is to identify the authenticity of the news by analyzing the news itself. Furthermore, the accuracy of most fake news detection models tends to be overestimated. Therefore, in this study, we first propose a method to secure the fairness of false news detection model accuracy. Secondly, we propose a method to identify the authenticity of the news using the social data broadly generated by the reaction to the news as well as the contents of the news.

주제어

표/그림 (16)

그림 Identification of News Authenticity
그림 Accuracy of Fake News Detection on News Data Sampling
그림 Examples of Fake News Detection Using Social Media Data
그림 Research Overview
그림 Example of Harsh Setting
표 Virtual Prediction Results of A Fake News Detection Model Using News Data
그림 Example of A Fake News Detection Model Using Twitter Data
표 Virtual Prediction Results of A Fake News Detection Model Using Twitter Data
표 Virtual Prediction Results of A Fake News Detection Model Using News and Twitter Data
그림 Results of Harsh Setting(Part)
표 Prediction Results of Fake News Detection Model Using News Data(Part)
표 Prediction Results of Fake News Detection Model Using Twitter Data(Part)
그림 Accuracy Comparison of Fake News Detection Model
표 Prediction Results of Fake News Detection Model Using News and Twitter Data(Part)
그림 False Positive/Negative Analysis Results By Fake News Detection Model
그림 Correct Prediction Frequency Analysis Results

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

더불어 뉴스의 진위여부가 식별된 시기가 모호하기 때문에 관련 트위터 데이터를 수집함에 있어 기간에 대한 기준을 세우기도 애매한 것이 사실이다. 따라서 본 연구에서는 가짜 뉴스를 의도와 상관없이 허위 사실을 포함하고 있거나 허위 사실을 전달하는 실제 뉴스 데이터 혹은 허위 사실을 말하고 있는 정치인 혹은 공직자의 발언, 찌라시, 루머 등을 포함하는 뉴스 데이터로 정의하여 데이터를 수집하였다. 또한 뉴스 기사의 진위여부 식별 기준을 팩트체크 사이트 중 기준사이트를 선정하여 해당 사이트에서 판단 치우침이 “대체로 거짓”, “거짓”인 경우를 “거짓”, “대체로 진실”, “진실”인 경우를 “진실”이라고 정의하였다.
하지만 뉴스 기사들의 이슈 간 연결 관계를 끊어내고 뉴스 자체만을 대상으로 진위여부를 학습하여 새로운 뉴스의 진위여부를 예측하는 것은 매우 어려운 일이다. 따라서 본 연구에서는 뉴스의 내용은 물론, 해당 뉴스에 대한 반응으로 자연적으로 발생한 광범위한 소셜 데이터를 활용하여 뉴스의 진위 여부를 판정하는 방안을 제안하고자 한다.
본 연구는 기존의 과평가 되어 있던 가짜 뉴스 탐지 방법론의 정확도에 대한 공정성을 확보하고, 뉴스 자체만으로 가짜 뉴스를 탐지하기 어렵다는 한계를 극복하기 위해 뉴스와 트위터 데이터를 활용한 가짜 뉴스 탐지 기법을 제안하였다. 제안 방법론은 뉴스 데이터를 구조화하여 클러스터링을 통해 이슈 그룹을 생성하고, 이슈 그룹 내 진위여부가 다른 뉴스 기사를 학습 및 검증 데이터로 분리함으로써 가짜뉴스 탐지 모델 정확도의 공정성을 확보하였다.
본 절에서는 가짜 뉴스 탐지 방법론을 제안한다. [Figure 4]는 본 연구의 전체 개요도를 나타내고 있으며, 원통형으로 표시된 부분은 데이터 소스를 나타낸다.
본 절에서는 제안 방법론의 핵심 중 하나인 가짜 뉴스 탐지 모델 정확도의 과평가 방지를 위한 데이터 분할 부분으로(Phase 1), 뉴스 기사의 이슈 간 연결 관계 차단을 통한 엄격한 실험 환경 조성에 대해 소개한다. 구체적으로는 뉴스 데이터를 대상으로 토픽모델링을 통해 뉴스를 구조화하고, 그 결과를 클러스터링하여 이슈 그룹을 생성함으로써 학습과 검증 데이터를 분리하는 과정을 설명한다.

제안 방법

이에 본 연구에서는 1. 뉴스 기사 사이의 이슈 간 연결 관계를 끊어낸 엄격한 환경에서 정확도를 측정하고, 2. 뉴스 내용과 더불어 Twitter로부터 각종 뉴스에 대한 반응들을 활용하여 사실이 아닌 허위 정보를 다루는 가짜 뉴스를 더욱 정확하게 탐지하기 위한 방안을 제시한다. 구체적으로는 각 뉴스와 관련된 Tweet을 추려내고, 이들로부터 각 뉴스에 대한 반응들을 벡터 형태로 산출한 후, 뉴스 원문에서 추출한 기사의 주제적 특성(Topic Features)과 트위터 반응 벡터(Twitter Topic Feature)와의 결합을 통해 각 뉴스의 진실/거짓 여부를 더욱 정확하게 탐지하고자 한다.
마지막 Phase 4는 본 연구의 핵심 부분 중 하나로 뉴스와 트위터 데이터를 활용한 가짜 뉴스 탐지 모델을 구축하는 부분이다. 구체적으로는 Phase 2와 Phase 3에서 추출된 뉴스에 대한 주제적 특성과 트위터 반응에 대한 벡터 값을 결합하여 가짜뉴스 탐지 모델을 구축한다. 이후 제 4.
뉴스 내용과 더불어 Twitter로부터 각종 뉴스에 대한 반응들을 활용하여 사실이 아닌 허위 정보를 다루는 가짜 뉴스를 더욱 정확하게 탐지하기 위한 방안을 제시한다. 구체적으로는 각 뉴스와 관련된 Tweet을 추려내고, 이들로부터 각 뉴스에 대한 반응들을 벡터 형태로 산출한 후, 뉴스 원문에서 추출한 기사의 주제적 특성(Topic Features)과 트위터 반응 벡터(Twitter Topic Feature)와의 결합을 통해 각 뉴스의 진실/거짓 여부를 더욱 정확하게 탐지하고자 한다.
가짜 뉴스 탐지 모델을 구축하기에 앞서, 데이터의 구조화 작업이 선행되어야하나, Phase 1에서 뉴스 데이터를 구조화한 후, 학습 및 검증데이터로 분리하였기 때문에 Phase 2에서는 뉴스를 다시 구조화할 필요가 없다. 따라서 Phase 1의 산출물인 뉴스의 주제적 특성을 활용하여 기계학습 알고리즘을 사용하여 가짜 뉴스 탐지모델을 구축한다.
본 부절에서는 제3.2절에서 소개된 과정에 따라, 수집된 실제 뉴스 데이터와 트위터 데이터를 활용하여 뉴스 기사의 이슈 간 연결 관계를 차단함으로써 가짜 뉴스 탐지 모델 정확도의 과평가 방지를 위한 학습 및 검증 데이터 분리 과정 및 결과를 소개한다.
본 절에서는 본 연구의 핵심인 Phase 4의 뉴스와 트위터 데이터를 활용한 가짜 뉴스 탐지 모델에 대해 소개하며, 구체적으로는 Phase 1과 Phase 3을 통해 산출된 뉴스별 뉴스의 주제적 특성과 트위터 벡터 값을 활용하여 기계학습 알고리즘을 사용해 가짜 뉴스 탐지 모델을 구축하는 과정을 설명한다.
본 제안 방법론의 성능이 향상됨을 보인 것은 매우 고무적인 현상이나, 그 폭이 너무 크기 때문에 어느 부분에서 정확도가 개선되었는지 좀 더 엄밀히 살펴볼 필요가 있다고 판단하여 추가로 가짜 뉴스 탐지 모델별 False Positive/Negative 분석과 가짜 뉴스 탐지 모델 간 정답 예측 빈도 분석을 수행하였다.
우선 뉴스별 주제적 특성에 뉴스별 트위터 벡터 값을 차원별로 새로운 변수로 추가하여 결합하였고, 이를 입력값으로 하여 뉴럴 네트워크를 사용해 가짜 뉴스 탐지 모델을 구축하였다. [Table 6]은 예측 결과의 일부를 나타내고 있으며, [Table 4]와 [Table 5]에서 모두 제대로 예측하지 못했던 뉴스 기사 21번과 75번이 “Fake”로 제대로 예측됨을 확인하였다.
우선 전체 뉴스 데이터를 대상으로 토픽 모델링을 수행하여 뉴스 데이터를 구조화하였으며,토픽의 수는 최대로 추출 가능한 26개로 지정하여 실험을 진행하였다. 이후, 토픽 모델링 결과로 산출된 문서/토픽 매트릭스, 즉 뉴스별 주제적 특성을 입력 값으로 하여 클러스터링을 수행함으로써 이슈 그룹 30개를 도출하였다.
이후, 뉴스의 주제적 특성과 트위터 벡터 값이 결합된 산출물을 입력 값으로 하여 기계학습알고리즘을 사용해 가짜 뉴스 탐지 모델을 구축하게 된다. [Table 3]은 가상의 예측 결과를 보여주고 있으며, Phase 2와 Phase 3의 예측 모델에서는 모두 “Fake”로 잘못 예측했던 뉴스 기사 4번이 뉴스와 트위터 데이터를 모두 활용한 가짜 뉴스 탐지 모델로 예측했을 때는 “True”로제대로 된 예측을 한 것을 확인할 수 있다.
그 결과, 각 뉴스별 트윗에 대한 벡터값이 산출되었고, 각 뉴스별 트윗의 차원별 평균값을 산출하여 최종적으로 뉴스별 트위터 벡터 값을 도출하였다. 이후, 제4.2.1절에서 분리된 학습 데이터 10,371건, 검증 데이터 6,013건으로 나누어 제4.2.2절과 마찬가지로 뉴럴 네트워크를 사용하여 가짜 뉴스 탐지 모델을 구축하였다. [Table 5]는 예측 결과의 일부를 보여주고 있으며, 제4.
우선 전체 뉴스 데이터를 대상으로 토픽 모델링을 수행하여 뉴스 데이터를 구조화하였으며,토픽의 수는 최대로 추출 가능한 26개로 지정하여 실험을 진행하였다. 이후, 토픽 모델링 결과로 산출된 문서/토픽 매트릭스, 즉 뉴스별 주제적 특성을 입력 값으로 하여 클러스터링을 수행함으로써 이슈 그룹 30개를 도출하였다. 이때, 이슈 그룹의 개수는 개수를 조정하며 실험을 한 결과, 이슈 그룹을 가장 잘 분리해 표현한 30개의 이슈 그룹을 실험에 사용하였다.
본 연구는 기존의 과평가 되어 있던 가짜 뉴스 탐지 방법론의 정확도에 대한 공정성을 확보하고, 뉴스 자체만으로 가짜 뉴스를 탐지하기 어렵다는 한계를 극복하기 위해 뉴스와 트위터 데이터를 활용한 가짜 뉴스 탐지 기법을 제안하였다. 제안 방법론은 뉴스 데이터를 구조화하여 클러스터링을 통해 이슈 그룹을 생성하고, 이슈 그룹 내 진위여부가 다른 뉴스 기사를 학습 및 검증 데이터로 분리함으로써 가짜뉴스 탐지 모델 정확도의 공정성을 확보하였다. 또한 뉴스와 트위터 데이터를 활용한 제안 방법론의 정확도가 뉴스와 트위터를 각각 활용한 가짜 뉴스 탐지 모델에 비해 약 28%p 향상됨을 증명하였다.

대상 데이터

뉴스 데이터의 경우, 가장 활발히 운영되고 있으며 공신력이 있다고 판단되는 SNU FactCheck과 뉴스톱 2개의 사이트를 기준사이트로 선정하였고, SNU FactCheck에서는 2017년 3월 29일～2018년 6월 22일 사이의 총 679건 중 가짜 19건, 진실 9건을 수집하였으며, 뉴스톱에서는 2017년 4월 27일～2018년 6월 22일 사이의 총 333건 중 가짜 36건, 진짜 9건을 수집하였다. 부족한데이터는 2017년 1월 1일～2018년 6월 22일 사이의 뉴스들 중 실제로 일어난 사건에 대한뉴스 혹은 명백히 가짜로 밝혀진 뉴스 데이터 총 61건(가짜 1건, 진짜 60)을 수집하여, 총 134건(가짜 56건, 진실 78건)의 뉴스 데이터를 수집하였다.
또한 뉴스 기사의 진위여부 식별 기준을 팩트체크 사이트 중 기준사이트를 선정하여 해당 사이트에서 판단 치우침이 “대체로 거짓”, “거짓”인 경우를 “거짓”, “대체로 진실”, “진실”인 경우를 “진실”이라고 정의하였다. 더불어 원문 혹은 관련 내용이 나타나있지 않은 경우, 네이버 뉴스에서 키워드 검색을 통해 가장 유사하고 대표적인 뉴스 데이터를 수집하였고, 상대적으로 부족한 진실 뉴스 데이터의 경우에는 실제로 일어난 사건에 대한 뉴스 데이터를 수집하였다.
하지만 본 연구는 향후 다음의 측면에서 보완이 필요하다. 본 연구는 현실적으로 데이터 수집의 어려움이 크기 때문에 매우 적은 수의 데이터를 사용하여 실험을 진행하였다. 제안 방법론의 성능이 향상됨을 보인 것은 매우 고무적인 현상이나, 그 폭이 너무 크기 때문에 어느 부분에서 정확도 향상에 기여를 했는지 좀 더 엄밀히 살펴볼 필요가 있다.
뉴스 데이터의 경우, 가장 활발히 운영되고 있으며 공신력이 있다고 판단되는 SNU FactCheck과 뉴스톱 2개의 사이트를 기준사이트로 선정하였고, SNU FactCheck에서는 2017년 3월 29일～2018년 6월 22일 사이의 총 679건 중 가짜 19건, 진실 9건을 수집하였으며, 뉴스톱에서는 2017년 4월 27일～2018년 6월 22일 사이의 총 333건 중 가짜 36건, 진짜 9건을 수집하였다. 부족한데이터는 2017년 1월 1일～2018년 6월 22일 사이의 뉴스들 중 실제로 일어난 사건에 대한뉴스 혹은 명백히 가짜로 밝혀진 뉴스 데이터 총 61건(가짜 1건, 진짜 60)을 수집하여, 총 134건(가짜 56건, 진실 78건)의 뉴스 데이터를 수집하였다.
우선 제4.2.1절에서 분리된 뉴스 데이터 총 134건 중 학습 데이터 77건, 검증 데이터 57건을 대상으로 가짜 뉴스 탐지 모델을 구축하였다. 이때, 뉴스 데이터에 대한 구조화 작업이 이미 제4.
우선 트위터 데이터 총 16,384건을 대상으로 토픽 모델링을 통해 구조화 작업을 수행하였으며, 토픽의 개수는 뉴스와 동일하게 26개로 지정하였다. 그 결과, 각 뉴스별 트윗에 대한 벡터값이 산출되었고, 각 뉴스별 트윗의 차원별 평균값을 산출하여 최종적으로 뉴스별 트위터 벡터 값을 도출하였다.
트위터 데이터의 경우, 앞서 수집된 뉴스 데이터에 대해 트위터의 고급검색 기능을 활용하여 키워드 검색을 통해 관련 트윗 총 16,384건을 수집하였다. 이때, 뉴스 진위여부 식별의 시기가 모호하기 때문에 수집 기간을 일괄적으로 2016년 1월 1일～2018년 7월 10일로 한정하여 적용함으로써 데이터를 수집해 실험에 사용하였다.
이후, 토픽 모델링 결과로 산출된 문서/토픽 매트릭스, 즉 뉴스별 주제적 특성을 입력 값으로 하여 클러스터링을 수행함으로써 이슈 그룹 30개를 도출하였다. 이때, 이슈 그룹의 개수는 개수를 조정하며 실험을 한 결과, 이슈 그룹을 가장 잘 분리해 표현한 30개의 이슈 그룹을 실험에 사용하였다. 이렇게 생성된 이슈 그룹을 활용하여 각 이슈 그룹 내 뉴스 기사들의 진위여부에 따라 학습과 검증 데이터로 분리하는 작업을 수행하였고, 그 결과의 일부가 [Figure 7]에 나타나 있다
또한 트위터 데이터 역시 뉴스 데이터의 학습 및 검증 구분에 따라 분리하여 저장하였다. 이에 따라 뉴스 데이터 총 134건 중 학습 데이터 77건(진실 45건, 거짓 32건), 검증 데이터 57건(진실 33건, 거짓 24건)으로 분리되었으며, 트위터 데이터 총 16,384건 중 학습 데이터 10,371건(진실 5,623건, 거짓 4,748건), 검증 데이터 6,013건(진실 3,028건, 거짓 2,985건)으로 분리되어 가짜 뉴스 탐지 모델 구축에 활용되었다.
트위터 데이터의 경우, 앞서 수집된 뉴스 데이터에 대해 트위터의 고급검색 기능을 활용하여 키워드 검색을 통해 관련 트윗 총 16,384건을 수집하였다. 이때, 뉴스 진위여부 식별의 시기가 모호하기 때문에 수집 기간을 일괄적으로 2016년 1월 1일～2018년 7월 10일로 한정하여 적용함으로써 데이터를 수집해 실험에 사용하였다.

데이터처리

우선 트위터 데이터 총 16,384건을 대상으로 토픽 모델링을 통해 구조화 작업을 수행하였으며, 토픽의 개수는 뉴스와 동일하게 26개로 지정하였다. 그 결과, 각 뉴스별 트윗에 대한 벡터값이 산출되었고, 각 뉴스별 트윗의 차원별 평균값을 산출하여 최종적으로 뉴스별 트위터 벡터 값을 도출하였다. 이후, 제4.

이론/모형

1절에서 분리된 뉴스 데이터 총 134건 중 학습 데이터 77건, 검증 데이터 57건을 대상으로 가짜 뉴스 탐지 모델을 구축하였다. 이때, 뉴스 데이터에 대한 구조화 작업이 이미 제4.2.1절에서 이루어졌으므로, 그 결과를 활용하여 가짜 뉴스 탐지 모델을 구축하였으며, 가짜 뉴스 탐지 모델을 구축하기 위한 기계학습 알고리즘은 파일럿 실험을 통해 가장 좋은 성능을 보였던 뉴럴 네트워크(Neural Network)를 사용하였다. [Table 4]는 예측 결과의 일부를 보여주고 있으며, 제4.

성능/효과

[Figure 9]는 각 가짜 뉴스 탐지 모델별 Flase Positive/Negative 분석 결과를 나타내고 있다. [Figure 9]의 (c) 뉴스와 트위터를 활용한 가짜 뉴스 탐지 모델의 분석 결과, (a) 뉴스를 활용한 가짜 뉴스 탐지 모델에 비해 True를 Fake로 잘못 예측한 8건 중 7건, 즉 약 88%를 제대로 예측하였고, Fake를 True로 잘못 예측한 19건 중 10건, 즉 약 53%를 제대로 예측하였음을 확인할 수 있었다. 반면 (b) 트위터를 활용한 가짜 뉴스 탐지 모델에 비해 True를 Fake로 잘못 예측한 13건 중 11건, 즉 약 85%를 제대로 예측하였고, Fake를 True로 잘못 예측한 12건 중 3건, 즉 약 25%를 제대로 예측하였음을 확인하였다.
[Figure 9]의 (c) 뉴스와 트위터를 활용한 가짜 뉴스 탐지 모델의 분석 결과, (a) 뉴스를 활용한 가짜 뉴스 탐지 모델에 비해 True를 Fake로 잘못 예측한 8건 중 7건, 즉 약 88%를 제대로 예측하였고, Fake를 True로 잘못 예측한 19건 중 10건, 즉 약 53%를 제대로 예측하였음을 확인할 수 있었다. 반면 (b) 트위터를 활용한 가짜 뉴스 탐지 모델에 비해 True를 Fake로 잘못 예측한 13건 중 11건, 즉 약 85%를 제대로 예측하였고, Fake를 True로 잘못 예측한 12건 중 3건, 즉 약 25%를 제대로 예측하였음을 확인하였다.
3절의 트위터 데이터를 활용한 가짜 뉴스 탐지 모델의 정확도를 비교 분석한 결과가 [Figure 8]에 나타나 있다. [Figure 8]에서 기존의 뉴스 데이터 자체만을 활용한 가짜 뉴스 탐지 모델과 트위터만을 활용한 가짜 뉴스 탐지 모델은 모두 50%대의 정확도를 보인 반면, 뉴스와 트위터 데이터를 결합한 가짜 뉴스 탐지 모델의 경우 80% 이상의 높은 정확도를 보이며 본 제안 방법론의 성능이 약 28%p 향상됨을 확인하였다.
[Table 6]은 예측 결과의 일부를 나타내고 있으며, [Table 4]와 [Table 5]에서 모두 제대로 예측하지 못했던 뉴스 기사 21번과 75번이 “Fake”로 제대로 예측됨을 확인하였다.
[Figure 10]의 (a)는 뉴스 데이터만을 활용한 가짜 뉴스 탐지 모델과 트위터 데이터만을 활용한 가짜 뉴스 탐지 모델 간 정답 예측 빈도 분석 결과를 나타내고 있으며, (b)는 (a) 결과에서 뉴스와 트위터 데이터를 활용한 가짜 뉴스 탐지 모델이 정답을 제대로 예측한 빈도를 나타내고 있다. 그 결과, 뉴스 활용 가짜 뉴스 탐지 모델과 트위터 활용 가짜 뉴스 탐지 모델에서 모두 잘못 예측한 뉴스 기사 13건 중 8건의 뉴스, 즉 약 62%의 뉴스 기사를 제대로 예측함을 확인하였다. 이처럼 뉴스와 트위터 각각을 활용한 모델과 비교했을 때, False Positive/Negative와 정답 예측 빈도의 개선 비율이 본 제안 방법론의 성능을 향상시킨 요인으로 판단된다.
제안 방법론은 뉴스 데이터를 구조화하여 클러스터링을 통해 이슈 그룹을 생성하고, 이슈 그룹 내 진위여부가 다른 뉴스 기사를 학습 및 검증 데이터로 분리함으로써 가짜뉴스 탐지 모델 정확도의 공정성을 확보하였다. 또한 뉴스와 트위터 데이터를 활용한 제안 방법론의 정확도가 뉴스와 트위터를 각각 활용한 가짜 뉴스 탐지 모델에 비해 약 28%p 향상됨을 증명하였다.
[Figure 2]는 뉴스 데이터의 학습 및 검증 데이터 집합 구분 기준에 따른 가짜뉴스 예측 정확도로, 학습과 검증 데이터를 무작위로 나누어 예측을 한 경우, 90% 이상의 정확도를 보이고 있음을 확인할 수 있다. 또한 동일한 데이터를 대상으로 시기를 구분하여 예측을 한 경우에도 약 80%의 정확도를 보이고 있음을 확인할 수 있다. 이는 뉴스 기사들의 이슈들 사이에 단단하게 얽혀있는 연결 관계(Tightly Connection)로 인한 정확도의 과평가 가능성을 반증한다.
그 결과, 뉴스 활용 가짜 뉴스 탐지 모델과 트위터 활용 가짜 뉴스 탐지 모델에서 모두 잘못 예측한 뉴스 기사 13건 중 8건의 뉴스, 즉 약 62%의 뉴스 기사를 제대로 예측함을 확인하였다. 이처럼 뉴스와 트위터 각각을 활용한 모델과 비교했을 때, False Positive/Negative와 정답 예측 빈도의 개선 비율이 본 제안 방법론의 성능을 향상시킨 요인으로 판단된다.

후속연구

또한 제안 방법론 전 과정에 대한 정교화가 필요할 것으로 보이며, 향후 다른 가짜 뉴스 탐지 기법들과의 정확도 비교를 통한 추가 검증 과정이 필요할 것으로 판단된다. 더 나아가 트위터 뿐만 아니라 보다 다양한 소셜데이터를 활용하여 가짜 뉴스 탐지 모델을 확장 역시 필요가 있을 것으로 보인다.
제안 방법론의 성능이 향상됨을 보인 것은 매우 고무적인 현상이나, 그 폭이 너무 크기 때문에 어느 부분에서 정확도 향상에 기여를 했는지 좀 더 엄밀히 살펴볼 필요가 있다. 또한 제안 방법론 전 과정에 대한 정교화가 필요할 것으로 보이며, 향후 다른 가짜 뉴스 탐지 기법들과의 정확도 비교를 통한 추가 검증 과정이 필요할 것으로 판단된다. 더 나아가 트위터 뿐만 아니라 보다 다양한 소셜데이터를 활용하여 가짜 뉴스 탐지 모델을 확장 역시 필요가 있을 것으로 보인다.
또한 기존의 뉴스 자체만으로 가짜 뉴스를 탐지하는 한계를 극복하고 트위터 데이터를 활용함으로써 보다 정확하게 가짜 뉴스 탐지를 가능하게 했다는 점에서 그 기여를 인정받을 수 있다. 본 연구의 성과는 실무적 측면에서 더욱 크게 나타날 것으로 기대한다. 가짜 뉴스 생성 비용과 이를 통해 거둘 수 있는 이익을 비교할 때, 가짜 뉴스 생성을 통해 부당한 방식으로 이익을 취하려는 시도는 더욱 증가할 것으로 예상된다.
본 연구의 실험을 위해서는 진위여부가 식별된 뉴스 데이터와 해당 뉴스와 관련된 트위터 데이터가 필요하다. 그런데 진위여부가 식별된데이터의 경우, 진위여부가 식별된 뉴스 데이터 수 자체가 매우 적을 뿐만 아니라, 진위여부가 식별된 뉴스의 경우에도 가짜 뉴스의 비율이 상대적으로 높다.
특히 뉴스를 제공하는 언론사의 경우 가짜 뉴스의 양산은 해당 언론의 신뢰에 치명적인 영향을 미치므로, 제공한 뉴스의 팩트 체크에 대한 필요성을 크게 가질 수밖에 없다. 이러한 언론 기관들은 자사의 뉴스 기사뿐 아니라 이와 관련된 트윗으로부터 도출된 벡터를 활용하는 제안 방법론을 적용함으로써, 이미 자체적으로 운영하고 있는 비기술적 접근 기반의 팩트 체크 서비스의 정확성과 효율성을 더욱 높일 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	비기술적 접근의 장단점은 무엇인가?	기존의 전문가 기반 탐지, 집단지성 기반 탐지 등 비기술적 접근뿐 아니라, 인공지능 기반 탐지, 시맨틱 기반 탐지 등 기술적 접근도 활발하게 이루어지고 있다. 비기술적 접근의 경우, 검증 과정과 결과가 명확하고 공신력이 있다는 장점이 있으나, 소수 전문가의 지식에 전적으로 의존함으로써 정보에 대한 전수조사가 어렵고 상대적으로 많은 분석 시간이 요구된다는 한계를 갖는다. 집단지성 기반 탐지의 경우에도 사용자들의 적극적인 참여가 전제되어야 한다는 측면, 그리고 검증 결과의 신뢰성을 보장할 수 없다는 측면의 한계를 갖는다.
	토픽 모델링이란 무엇인가?	토픽 모델링(Topic Modeling)은 텍스트 마이닝의 응용 분야 중 하나로써 다양한 분야에서 가시적인 성과를 내며 가장 활발하게 활용되고 있는 대표적인 응용 기술이다[15]. 토픽 모델링은 각 문서에 포함된 용어의 빈도수에 기반하여 유사 문사를 그룹화한 뒤 각 그룹을 대표하는 주요 용어들을 추출함으로써 해당 그룹의 토픽키워드 집합을 제시하는 방식으로 이루어지며, 이 때 사용되는 문서는 문서, 제목, 요약, 본문, 댓글 등을 포함하는 넓은 개념을 의미한다.
	가짜 뉴스에 대한 사회적 문제를 진단하고 이로 인한 부작용을 막기 위한 시도들은 어떤 것이 이뤄지고 있는가?	이러한 배경에서 가짜 뉴스에 대한 사회적 문제를 진단하고 이로 인한 부작용을 막기 위한 시도들이 다양한 분야에 걸쳐 활발하게 이루어지고 있다. 기존의 전문가 기반 탐지, 집단지성 기반 탐지 등 비기술적 접근뿐 아니라, 인공지능 기반 탐지, 시맨틱 기반 탐지 등 기술적 접근도 활발하게 이루어지고 있다. 비기술적 접근의 경우, 검증 과정과 결과가 명확하고 공신력이 있다는 장점이 있으나, 소수 전문가의 지식에 전적으로 의존함으로써 정보에 대한 전수조사가 어렵고 상대적으로 많은 분석 시간이 요구된다는 한계를 갖는다.

참고문헌 (19)

Albright, R., Taming Text with the SVD, SAS Institute Inc., 2006.
Chen, C., Wu K., Srinivasan V., and Zhang, X., "Battling the Internet Water Army: Detection of Hidden Paid Posters," In Advances in Social Networks Analysis and Mining (ASONAM), 2013 IEEE/ACM International Conference, pp. 116-120, 2013.
Chen, Y., Conroy, N. J., and Rubin, V. L., "Misleading Online Content: Recognizing Clickbait as False News," In Proceedings of the 2015 ACM on Workshop on Multimodal Deception Detection, pp. 15-19, 2015.
Conroy, N. J., Rubin, V. L., and Chen, Y., "Automatic Deception Detection: Methods for Finding Fake News," Proceedings of the Association for Information Science and Technology, Vol. 52, No. 1, pp. 1-4, 2016.
Granik, M. and Mesyura, V., "Fake News Detection Using Naive Bayes Classifier," In Electrical and Computer Engineering (UKRCON), 2017 IEEE First Ukraine Conference, pp. 900-903, 2017.
Hwang, Y. and Kwon, O., "A Study on the Conceptualization and Regulation Measures on Fake News: Focused on Self-Regulation of Internet Service Providers," Journal of Media Law, Ethics and Policy Research, Vol. 16, No. 1, pp. 53-101, 2017.
Jin, Z., Cao, J., Jiang, Y. G., and Zhang, Y., "News Credibility Evaluation on Microblog with a Hierarchical Propagation Model," In Data Mining (ICDM), 2014 IEEE International Conference, pp. 230-239, 2014.
Kim, D. J., "Semantic Analysis on Fake News through Portal Site and Social Network," Master Thesis, 2017.
Kim, H. Y., "An Exploratory Study on Fake News Using Topic Modeling: Focused on Fake News Published in the Online Journalism," Master Thesis, 2017.
Kwon, M., Jun, Y. W., and Im, H., “Controversy and Guideline Suggestion Surrounding Fake News in the Digital Media Age,” Journal of Korea Multimedia Society, Vol. 18, No. 11, pp. 1419-1426, 2015.

원문보기 상세보기
Kwon, S., Cha, M., Jung, K., Chen, W., and Wang, Y., "Prominent Features of Rumor Propagation in Online Social Media," In Data Mining (ICEM), 2013 IEEE 13th International Conference, pp. 1103-1108, 2013.
Oh, S. U., “Current States and Limitations of Automated Fact Checking Technology,” Journal of Cybercommunication Academic Society, Vol. 34, No. 3, pp. 137-180, 2017.
Park, J. H. and Kim, Y. I., "Development of a Fake News Discrimination System using SVM Classifier," Proceedings of KIIT Summer Conference, pp. 354-355, 2017.
Rubin, V. L., Chen, Y., and Conroy, N. J., “Deception Detection for News: Three Types of Fakes,” Proceedings of the Association for Information Science and Technology, Vol. 52, No. 1, pp. 1-4, 2016.
Lee, D., Kim, Y., and Kim, K., “Topic Based Hierarchical Network Analysis for Entrepreneur Using Text Mining,” The Journal of Society for e-Business Studies, Vol. 23, No. 3, pp. 33-49, 2018.
Lee, S. and Kim, H. J., "Keyword Extraction from News Corpus using Modified TF-IDF," The Journal of Society for e-Business Studies, Vol. 14, No. 4, pp. 59-73, 2009.
Salton, G., Wong, A., and Yang, C. S., “A Vector Space Model for Automatic Indexing,” Communications of the ACM, Vol. 18, No. 11, pp. 613-620, 1975.

상세보기
Sethi, R. J., "Spotting Fake News: A Social Argumentation Framework for Scrutinizing Alternative Facts," In Web Services (ICWS), 2017 IEEE International Conference, pp. 866-869, 2017.
Weiss, S. M., Indurkhya, N., and Zhang, T., Fundamentals of Predictive Text Mining, Springer, 2010.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증