[논문]데이터 마이닝을 활용한 가짜뉴스의 선제적 대응을 위한 연구 : M 온라인 커뮤니티 게시물을 중심으로

임문영; 박승범

doi:10.9716/kits.2019.18.1.219

데이터 마이닝을 활용한 가짜뉴스의 선제적 대응을 위한 연구 : M 온라인 커뮤니티 게시물을 중심으로
A Study on the Preemptive Measure for Fake News Eradication Using Data Mining Algorithms : Focused on the M Online Community Postings 원문보기

한국IT서비스학회지 = Journal of Information Technology Services, v.18 no.1, 2019년, pp.219 - 234

임문영 (호서대학교 기술경영전문대학원) , 박승범 (호서대학교 기술경영전문대학원)

Abstract ▼ AI-Helper

Fake news threaten democratic elections and causes social conflicts, resulting in major damage. However, the concept of fake news is hard to define, as there is a saying, "News is not fake, fake is not news." Fake news, however, has irreversible characteristics that can not be recovered or reversed completely through post-punishment of economic and political benefits. It is also rapidly spreading in the early days. Therefore, it is very important to preemptively detect these types of articles and prevent their blind proliferation. The existing countermeasures are focused on reporting fake news, raising the level of punishment, and the media & academia to determine the authenticity of the news. Researchers are also trying to determine the authenticity by analyzing its contents. Apart from the contents of fake news, determining the behavioral characteristics of the promoters and its qualities can help identify the possibility of having fake news in advance. The online community has a fake news interception and response tradition through its long-standing community-based activities. As a result, I attempted to model the fake news by analyzing the affirmation-denial analysis and posting behavior by securing the web board crawl of the 'M community' bulletin board during the 2017 Korean presidential election period. Random forest algorithm deemed significant. The results of this research will help counteract fake news and focus on preemptive blocking through behavioral analysis rather than post-judgment after semantic analysis.

주제어

표/그림 (10)

표 Fake News Compare Korea vs U. S. A
표 Top10 Link Reported from Minjudang Web
표 Top10 Link Reported from Moonjaein Web
그림 Divison of Fake News Progress
그림 Conceptual Diagram of Expanded SEMMA
표 Predictability of Evaluation Model and t-value
표 Compare of AUR by Mathods of Analysis
표 The Result of Modeling
그림 Feature Importance of Prediction Fake News
그림 Decision Tree

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

989%인 데이터의 비율로 나이브룰로 적용했을 경우 약 99%의 비율로 정확도를 보일 것으로 예상된다. 따라서 본 연구에서는 50%나이브룰에서 가장 높은 정확도를 보인 랜덤포레스트 알고리즘을 이용하여 최소 99% 이상의 정확도를 갖는 모델을 구하고자 하였다.
”고 밝혔다(미디어리터러시, 2018). 또 Dean Pomerleau와 Delip Rao가주도했던 Fake News Challenge는 뉴스 기사에 숨어 있는 조작이나 오보를 식별할 수 있는 가능성을인공지능 기술을 이용하여 모색하고자 한다. 이 프로젝트에 참여한 상위 3개 팀에서는 딥러닝(DeepLearning), 의사결정나무(Decision Tree), 멀티스레딩(Multithreading), TF-IDF(Term FrequencyInverse Document Frequency)와 같은 기법을 사용하였다.
이러한 관점에서 본 연구는 온라인 커뮤니티에서 사용자 행동분석(User Behavior Analytics)과 게시물의 형식적 특성을 이용하여 커뮤니티 게시글의 가짜뉴스를 선제적으로 대응할 수 있는지 연구하였다. 이때 가짜뉴스는 허위조작 또는 의도적으로 왜곡한 내용으로 해당 커뮤니티의 주류가 지향하는 가치와 정서에 반하여 신고할 만한 대상으로 여겨지는 논란성 정보로 정의하였다.

제안 방법

가짜뉴스 여부를 예측하는 학습을 수행한 후,가장 우수한 예측 모델로 판명된 랜덤포레스트 모델을 이용하여 11개 독립변수 중 어떤 변수가 가짜뉴스 여부를 예측하는데 많은 정보를 가지고 있는지를 다음과 같이 추가 분석하였다.
[Figure 3]의 경우, 전체 11개의 변수 중 중요도가 높은 순서로 정렬한 것이다. 각 tree에서 해당 변수가 얼마나 많은 데이터의 불확실성을 줄이는데 기여했는지를 측정하여 구했다.
또한 선제적 대응의 가능성에 초점을 두기 위하여 게시자의 커뮤니티 가입일,게시글을 작성한 시각과 요일, 가입이후부터 게시글을 올리기까지의 기간 등 이용자 행동에 관심을 가졌으며, 댓글과 공감, 조회, 반응 등 게시물 게시 이후에 발생하는 이용자 행동 특성은 제외하였다. 마지막으로 게시글의 본문내용 대신 본문의 긍정 표현과 부정 표현의 빈도를 분류한 긍부정 표현 량을 살펴보았다. 상기의 특징을 종합하여 본 연구는 아래와 같은 연구문제들을 도출하였다.
감성분석은 텍스트에 나타난 사람들의 태도, 의견, 성형과 같은 주관적인 데이터를 분석하는 자연어 처리기술이다(신수정, 2014). 분문글의 텍스트에서 긍부정분석에 사용될 텍스트 요소만을 분류하여 이를 극성분석한 뒤 이를 정량화하고 통계적 기법을 적용하여 긍부정 표현분석 값을 수치로 정한다. 긍부정분석은 긍부정 표현량이 동일한 중립(0), 긍부정 표현이 없는 객관(1),긍정(2), 부정(-1)로 정의하였다.
수집된 자료를 데이터 마이닝 도구인 weka에서 처리할 수 있도록 데이터 변환 및 정제를 실시하였다. 데이터 전처리후 데이터를 탐색한 결과, 가짜로 판정된 글은 전체 게시글의 0.
한편, 현대경제연구원에 따르면 가짜뉴스는 약 1%의 비율로 존재하는 것으로 추정할 수 있다(정민, 백다미, 2017). 이에 따라 본 연구는 전체 데이터의 진짜와 가짜 대비를 100 : 1의 비율로 조정하기 위하여 언더샘플링을 적용하였다. 언더샘플링, 즉 과다표집(oversampling) 또는 과소표집(undersampling)은 원 데이터가 편향(bias)되었을때 이를 조정하기 위한 방법이다(wikipedia).
, 2011). 이에 따라 우선 SpreadSubsamping 방법을 통해 게시글의 진짜와 가짜 데이터의 비율을 1 : 1로 조정하여 총 게시글 수 : 1,287개(가짜판정 613개 포함 47.630%)를 마련하였다.
1338%로 전체에 비해 현저히 적은 상황이었다. 이와 같이 편항된 데이터에 대한 분석모델의 예측 성능을 평가하기 위한 기준선으로서 데이터를 가장 일반적 클래스로 분류하여 오분류 오류를 최소화하는 나이브 규칙을 사용하기로 하였다(Shmueli et al., 2011). 이에 따라 우선 SpreadSubsamping 방법을 통해 게시글의 진짜와 가짜 데이터의 비율을 1 : 1로 조정하여 총 게시글 수 : 1,287개(가짜판정 613개 포함 47.
[Figure 4]는 결정 트리 중 가장 높은 정확도를 보인 트리를 선택하여 4단계까지 어떠한 과정을 거쳐 최종적인 가짜 뉴스 예측을 수행하였는지 시각화하였다. 트리 구조를 이용하여 Decision Boundary를 시각화함으로써 어떠한 공간을 통해 최종적으로 분류가 이루어지는지 분석해볼 수 있다. [Figure4]에서 제시한 의사결정 과정의 예시를 보면 게시글의 제목의 길이(titlelen) 값이 뿌리마디(root node) 가 되어 28.

대상 데이터

X1 본문의 길이(bodylen), X0 제목의 길이(titlelen), X4 가입 후 글쓰기까지 기간(writegapmonth), X6 글쓴 시각(writerhour), X3 가입월(writerregmonth), X5글을 쓴 요일(writedayofweek), X2 가입년도(writerregyear), X10 긍부정량(sentiment), X8 본문 이미지갯수(cntbodyimage), X7. 글을 쓴 휴일여부(holiday), X9, 본문 URL갯수(cntbodyurl). 사용된 변수 중에서 유일하게 본문의 의미와 관련 있다고 할 수 있는긍부정변수(sentiment)는 가짜뉴스를 판단하는데 크게 중요하지 않은 것으로 나타났다.
또한 문재인대통령후보 사이트와 더불어민주당 홈페이지의 가짜뉴스 신고 사이트를 통해 가짜뉴스 신고 게시물을 확보하였다. 데이터는 가짜뉴스로 판정된 613개(0.1338%)를 포함하여 총 458,697개였다.
본 연구의 원시데이터는 2017년 3월 9일부터 2017년 5월 9일까지 2개월 동안의 19대 대통령선거기간 동안 생성된 ‘M커뮤니티’의 자유게시판의 글을 웹크롤링 방법을 통해 확보하였다. 또한 문재인대통령후보 사이트와 더불어민주당 홈페이지의 가짜뉴스 신고 사이트를 통해 가짜뉴스 신고 게시물을 확보하였다. 데이터는 가짜뉴스로 판정된 613개(0.
본 연구의 원시데이터는 2017년 3월 9일부터 2017년 5월 9일까지 2개월 동안의 19대 대통령선거기간 동안 생성된 ‘M커뮤니티’의 자유게시판의 글을 웹크롤링 방법을 통해 확보하였다.
제목, 본문 길이 : 게시글의 제목과 본문은 연속형 변수로서 길이만을 분석 대상으로 하였다. 별도의 제목이 없는 소셜미디어와 달리 온라인 커뮤니티 게시판은 제목과 본문이 명확히 구분되며 본문은 해당 글을 선택했을 때만 보인다.

데이터처리

5%, 가장 낮은 예측치를 기록한 인공신경망이 60%의 수준을 보인 것을 포함하여 모두 나이브룰 기준치인 50%를 넘는 것이 확인되었다. 4가지 분석모형의 예측력을 비교하기 위하여 본 연구에서는 텐 폴드 교차검증(10-fold cross validation)을 실시하여 총 30번의 비교 검증을 수행하였으며 전체 실험의 예측정확도와 모델별 정확도의 비교가 [Table 4]에 제시되어있다.
본 연구에서는 랜덤포레스트를 베이스라인 모델로 선정하고, 베이스라인모델과 모형들의 예측정확도 사이에 유의적인 차이가 발생하는지 나머지 검증하기 위하여 t-test를 수행하였다. 데이터 마이닝에서 한 분석 집합의 평균 정확도가, 다른 분석 집합의 평균 정확도보다 통계적으로 크거나 작은지 결정하기 위해 t검정 기법을 이용한다(Witten etal., 2016). [Table 4]에 제시된 것처럼 t-test 결과, 랜덤포레스트의 예측정확도는 1% 유의수준에서 나머지 로지스틱 회귀분석, 인공신경망, SVM보다 예측력이 우수함을 보여주었다.
본 연구에서는 랜덤포레스트를 베이스라인 모델로 선정하고, 베이스라인모델과 모형들의 예측정확도 사이에 유의적인 차이가 발생하는지 나머지 검증하기 위하여 t-test를 수행하였다. 데이터 마이닝에서 한 분석 집합의 평균 정확도가, 다른 분석 집합의 평균 정확도보다 통계적으로 크거나 작은지 결정하기 위해 t검정 기법을 이용한다(Witten etal.
예측모형에 대한 검정력 테스트를 위하여 ROC 분석을 수행하였다. AUC 수치에 따라 비정보적(AUC = 0.

이론/모형

본 연구에서는 김경창 등이 제시한 바와 같이 기존 SEMMA의 샘플링(Sampling)-탐색(Exploration)-변환 및 조정(Modification)-모형화(Modeling)-평가(Assessment)의 5단계(Assesssment,평가)를 통하여 최종 선택된 분석 모형을 실제 모집단에 적용해 보는 ‘적용(Application)’ 단계가 추가된 확정된 SEMMA 방법론을 이용할 것이다.
또 Dean Pomerleau와 Delip Rao가주도했던 Fake News Challenge는 뉴스 기사에 숨어 있는 조작이나 오보를 식별할 수 있는 가능성을인공지능 기술을 이용하여 모색하고자 한다. 이 프로젝트에 참여한 상위 3개 팀에서는 딥러닝(DeepLearning), 의사결정나무(Decision Tree), 멀티스레딩(Multithreading), TF-IDF(Term FrequencyInverse Document Frequency)와 같은 기법을 사용하였다. 영국의 팩트체크 기구인 Full Fact는 Live와 Trends 두 개의 자동 팩트체크 기술을 실용화하고 있다.

성능/효과

한쪽 범주에서 샘플을 더 추가하거나 줄여서 추출하는 방식으로 사용된다. SpreadSubsmapling 방법을 통해 진짜의 샘플을 과소표집하여 구한 최종 분석대상 데이터는 총 게시글 수 61,974중 가짜판정 613개 포함 0.989%인 데이터의 비율로 나이브룰로 적용했을 경우 약 99%의 비율로 정확도를 보일 것으로 예상된다. 따라서 본 연구에서는 50%나이브룰에서 가장 높은 정확도를 보인 랜덤포레스트 알고리즘을 이용하여 최소 99% 이상의 정확도를 갖는 모델을 구하고자 하였다.
, 2016). [Table 4]에 제시된 것처럼 t-test 결과, 랜덤포레스트의 예측정확도는 1% 유의수준에서 나머지 로지스틱 회귀분석, 인공신경망, SVM보다 예측력이 우수함을 보여주었다.
넷째, 데이터 마이닝 기법 중에서 랜덤포레스트알고리즘이 가짜뉴스를 판별하는데 중간이상의 검 정력을 갖는 것을 확인하였다.
수집된 자료를 데이터 마이닝 도구인 weka에서 처리할 수 있도록 데이터 변환 및 정제를 실시하였다. 데이터 전처리후 데이터를 탐색한 결과, 가짜로 판정된 글은 전체 게시글의 0.1338%로 전체에 비해 현저히 적은 상황이었다. 이와 같이 편항된 데이터에 대한 분석모델의 예측 성능을 평가하기 위한 기준선으로서 데이터를 가장 일반적 클래스로 분류하여 오분류 오류를 최소화하는 나이브 규칙을 사용하기로 하였다(Shmueli et al.
둘째, 가짜뉴스로 판단되는 온라인 커뮤니티 게시글의 게시자 행태의 특징으로는 가입 후 글쓰기까지 걸린 개월 수와 글을 게시한 시각이 중요한 것으로 나타났다.
로지스틱 회귀분석, 인공신경망, 랜덤포레스트, SVM 4가지 알고리즘으로 분석한 결과 가장 높은 예측치를 기록한 랜덤포레스트가 69.5%, 가장 낮은 예측치를 기록한 인공신경망이 60%의 수준을 보인 것을 포함하여 모두 나이브룰 기준치인 50%를 넘는 것이 확인되었다. 4가지 분석모형의 예측력을 비교하기 위하여 본 연구에서는 텐 폴드 교차검증(10-fold cross validation)을 실시하여 총 30번의 비교 검증을 수행하였으며 전체 실험의 예측정확도와 모델별 정확도의 비교가 [Table 4]에 제시되어있다.
본문 및 제목의 길이를 포함이 4가지 항목의 합계가 50%를 넘어 가짜뉴스로 판단하는데 중요한 역할을 한다고 할 수 있다. 본문의 길이와 제목의 길이, 가입한 이후 글을 쓴 사이의 간격, 글을 쓴 시각 등이 중요도의 절반 이상을 차지하는 것으로 나타났다. 그 순서는 다음과 같다.
글을 쓴 휴일여부(holiday), X9, 본문 URL갯수(cntbodyurl). 사용된 변수 중에서 유일하게 본문의 의미와 관련 있다고 할 수 있는긍부정변수(sentiment)는 가짜뉴스를 판단하는데 크게 중요하지 않은 것으로 나타났다. 이는 ‘가짜뉴스는 가짜뉴스처럼 보이지 않아야 하기 때문에 긍부정 단어분석을 통해서는 가짜여부를 파악하기 어렵다’는 점을 보여준다.
셋째, 게시물의 긍부정 단어의 빈도는 가짜뉴스판별에 상관관계가 미약함을 확인하였다.
, 2000). 예측 모형에 대한 검정력 테스트를 위하여 ROC 분석을 수행한 결과 [Table 5]에 제시된 것처럼 랜덤포레스트의 AUR(Area Under ROC)값은 0.7501로 로지스틱 회귀분석 0.7299, 인공신경망 0.6341,SVM 0.6302 등 다른 알고리즘에 비해 검정력이 우수함을 보여주고 있다. 이에 따라, 본 연구에 적용된 랜덤포레스트는 중간 이상의 검정력을 갖는 것으로 판명되었다.
그 결과 [Figure 3]에 제시한 바와 같이 가짜뉴스 여부에 가장 중요한 변수로 본문의 길이(bodylen)가 가장 높게 나타났고 제목의 길이(titlelength)가 뒤를 이었다. 이어서 가입 후 글쓰기까지의 개월 수(writegapmonth), 글 게시시각(writehour)이 중요한 것으로 나타났다. 본문 및 제목의 길이를 포함이 4가지 항목의 합계가 50%를 넘어 가짜뉴스로 판단하는데 중요한 역할을 한다고 할 수 있다.
6302 등 다른 알고리즘에 비해 검정력이 우수함을 보여주고 있다. 이에 따라, 본 연구에 적용된 랜덤포레스트는 중간 이상의 검정력을 갖는 것으로 판명되었다.
첫째, 가짜뉴스로 판단되는 온라인 커뮤니티 게시글의 형식적 특징은 제목과 본문의 길이에서 상관관계를 보였다. 본문의 URL 갯수나 이미지 갯수 등은 크게 중요하지 않았다.

후속연구

이 관점에서 볼 때 허위조작의 의도가 있는 가짜뉴스는 게시자의 글 내용을 통해 게시자의 의도를 알아내기보다는 게시자의 행동분석을 통해서 더 정확하게 추정할 수 있을 것이다. 다만 이 경우 시스템 관리자만 접근할 수 있는 웹로그 대신 일반 사용자가 접근할 수 있도록 공개된 데이터로 분석하는 것이 향후 실제 게시판 운영정책이나 사용자 인터페이스 개선에 활용할 수 있을 것이다.
따라서 가짜뉴스의 초기 ‘확산기’ 이슈가 확산되고 커지기 전에 가짜뉴스의 추정을 표시하거나 반대여론을 보임으로써 냉정함을 요구하는 ‘기술적․정책적 장치’는 돌비현상(Wikipedia)을 막는 끓임쪽과 같은 효과를 기대할 수 있을 것이다.
본 연구는 ‘M커뮤니티’에서 대선기간 동안에 한정한 게시물을 대상으로 분석한 것으로, 다른 커뮤니티 등에서 작성된 게시글과 사용자에 행태분석을 통한 추가 연구가 필요하다.
또한 커뮤니티보다 동질성과 회원 간 신뢰관계가 약한 반면 실명 정보를 갖고 있는 포털의 뉴스댓글에서는 성별, 연령별, 참여 카페 등 또 다른 지표를 발굴할 필요가 있다. 여기에 내용분석을 통한 가짜뉴스 진위판별 연구 성과가 더해진다면 보다 효율적이고 선제적인 가짜뉴스 대응 방안을 발전시킬 수 있을 것이다. 다만 이 과정에서 선제적 조치가 표현의 자유 또는 개인의 온라인 활동의 자유를 침해하지 않아야 하는 점도 함께 고려되어야 할 것이다.
행동주의는 자극과 반응 사이에서 인간의 사고의 역할을 강조하는 인지주의의 비판을 받고 있으나 인간 심리에 대한 과학적 관찰 방법론으로서 의미가 있다. 이 관점에서 볼 때 허위조작의 의도가 있는 가짜뉴스는 게시자의 글 내용을 통해 게시자의 의도를 알아내기보다는 게시자의 행동분석을 통해서 더 정확하게 추정할 수 있을 것이다. 다만 이 경우 시스템 관리자만 접근할 수 있는 웹로그 대신 일반 사용자가 접근할 수 있도록 공개된 데이터로 분석하는 것이 향후 실제 게시판 운영정책이나 사용자 인터페이스 개선에 활용할 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	온라인상으로 동일한 취미와 관심에 따라 모인 성별, 연령별, 계층별 유사성을 가진 집단은?	온라인 커뮤니티에서의 사회적 지지는 개인의 자아존중감과 실제 사회에서의 긍정적 효과를 가져온다(박유진과 김재휘, 2005). 이에 따라 온라인 커뮤니티는 익명공간이면서도 회원들이 서로를 어느 정도 확인할 수 있도록 활동행태를 발전시켜왔다.
	행동유도성을 통해 어떤 효과를 기대할 수 있는가?	이와 같은 행동유도성은 커뮤니티의 게시판이나 뉴스 댓글 등에서 사용되는 사용자 인터페이스에서 사용자의 행동을 긍정적으로 유도하는데 중요한 역할을 할 수 있다. 따라서 가짜뉴스의 초기 ‘확산기’ 이슈가 확산되고 커지기 전에 가짜뉴스의 추정을 표시하거나 반대여론을 보임으로써 냉정함을 요구하는 ‘기술적․정책적 장치’는 돌비현상(Wikipedia)을 막는 끓임쪽과 같은 효과를 기대할 수 있을 것이다.
	가짜뉴스란 무엇인가?	황용석과 권오성은 가짜뉴스를 “ ‘실제 뉴스의 형식을 갖춘, 정교하게 공표된 일종의 사기물 또는 선전물, 허위 정보’로서 ‘협의로 정의할 때 형식과 내용을 모두 기만하는 가짜정보’ ”라고 정의한다(황용석과 권오성, 2017). 박아란은 “가짜뉴스는 작성 주체에 상관없이 (1)허위의 사실 관계를, (2)고의적․의도적으로 유포하기 위한 목적으로, (3)기사형식을 차용하여 작성한 것을 의미”하는 것으로 정의한다(박아란, 2017.

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증