[논문]온라인 공간에서 비정상 정보 유포 기법의 시간에 따른 변화 분석

이시형

doi:10.7472/jksii.2020.21.3.29

온라인 공간에서 비정상 정보 유포 기법의 시간에 따른 변화 분석
Temporal Analysis of Opinion Manipulation Tactics in Online Communities 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.21 no.3, 2020년, pp.29 - 39

이시형 (School of Computer Science and Engineering, Kyungpook National University)

초록
AI-Helper

인터넷 포털 사이트와 사회 관계망 서비스 등의 온라인 공간(online communities)은 시간과 공간의 제약 없이 접속 가능하다는 장점 때문에 많은 사용자들이 의견을 교환하고 정보를 얻기 위해 사용하고 있다. 이와 함께 특정 개인이나 집단의 이익을 위해 의도적으로 유포하는 비정상 정보도 증가하고 있는데 허위 상품 평이나 정치적 선동 의견이 이에 해당한다. 기존에는 이러한 비정상 정보 탐지를 위해 한 시점에서의 비정상 정보를 수집하고 특징을 분석하여 검열 시스템을 제안하였다. 그러나 비정상 정보를 유포하는 기법은 기존의 탐지 시스템을 회피하고 보다 효율적으로 정보를 전파하기 위해 지속적으로 변화하므로 탐지 시스템도 이에 맞추어 변화할 필요가 있다. 따라서 본 논문에서는 비정상 정보 유포 기법의 시간에 따른 변화를 관찰하는 시스템을 제시한다. 이 시스템은 클러스터링(clustering)을 활용해 비정상 정보를 유포 방식에 따라 군집(cluster)으로 분류하며 이러한 군집의 변화를 분석하여 유포 방식의 변화를 추적한다. 제안한 시스템을 검증하기 위해 3번의 선거 기간 전후에 포털 사이트에서 수집된 백만 개 이상의 의견을 대상으로 실험하였으며, 그 결과 비정상 정보 게재에 자주 사용되는 시간, 추천수 조작 방법, 다수의 ID 활용 방법 등에 대한 변화를 관찰할 수 있었다. 이 시스템을 주기적으로 사용해 탐지 시스템을 개선한다면 보다 빠르고 정확하게 비정상 정보의 유포를 탐지할 수 있을 것이다.

Abstract ▼ AI-Helper

Online communities, such as Internet portal sites and social media, have become popular since they allow users to share opinions and to obtain information anytime, anywhere. Accordingly, an increasing number of opinions are manipulated to the advantage of particular groups or individuals, and these opinions include falsified product reviews and political propaganda. Existing detection systems are built upon the characteristics of manipulated opinions for one particular time period. However, manipulation tactics change over time to evade detection systems and to more efficiently spread information, so detection systems should also evolve according to the changes. We therefore propose a system that helps observe and trace changes in manipulation tactics. This system classifies opinions into clusters that represent different tactics, and changes in these clusters reveal evolving tactics. We evaluated the system with over a million opinions collected during three election campaigns and found various changes in (i) the times when manipulations frequently occur, (ii) the methods to manipulate recommendation counts, and (iii) the use of multiple user IDs. We suggest that the operators of online communities perform regular audits with the proposed system to identify evolutions and to adjust detection systems.

주제어

표/그림 (12)

그림 (그림 1) 클러스터링에 기반 한 시공간 분석 과정 개요 (Figure 1) Overview of temporal analysis based on clustering
표 (표 1) 수집 기간 및 수집된 의견 수 개요 (Table 1) Summary of dataset – collection period and # of collected opinions
표 (표 2) 수집된 의견 예 (Table 2) Example of collected opinions
그림 (그림 2) 데이터 수집 과정 개요(2012년 예) (Figure 2) Overview of data collection in 2012
표 (표 3) 의견 모델링에 사용한 특징 (Table 3) Features used to model opinions
그림 (그림 3) 범주 #1에서 선별된 특징에 대한 누적분포 (Figure 3) CDF of selective features in category #1
그림 (그림 4) 범주 #2에서 선별된 특징에 대한 누적분포 (Figure 4) CDF of selective features in category #2
표 (표 4) 클러스터링에 기반 한 시공간 분석 방법 (Table 4) Temporal analysis based on clustering
그림 (그림 5) 비정상 의견의 주요 특성과 시간에 따른 변화 (Figure 5) Main characteristics of abnormal opinions and their trend over time
표 (표 5) 서로 다른 년도의 군집을 대응시키는 알고리즘 (Table 5) Algorithm that identifies correspondence between clusters of different times
그림 (그림 6) 의견게재시점과 추천수의 변화 추이 (Figure 6) Relationship between posting times and recommendation counts
그림 (그림 7) 다수의 사용자 계정에 의한 유사 의견 게재 과정 (Figure 7) Posting of similar opinions by utilizing multiple user IDs

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

또한 학습에 사용한 방법은 탐지의 정확도를 높이는 것이 목적이므로 학습한 모델을 해석하는 목적에는 적합하지 않다. 따라서 본 논문에서는 학습한 모델의 해석에 보다 용이한 클러스터링에 기반한 분석 방법을 제안한다. 또한 이 방법을 실제 데이터에 적용함으로써 비정상 정보 유포 방식의 시간에 따른 변화를 관찰하는데 용이함을 보인다.
또한 정치적인 목적의 비정상 정보는 수백만 사용자의 인식과 투표 결과에 여러 해 동안 영향을 미친다는 면에서 중요하다[15, 16]. 본 논문에서는 3개 년도에 걸쳐 포털 사이트의 정치 기사에 게재된 백만 개 이상의 의견을 수집하고 분석하였으며 비정상 정보 유포 방식의 다양한 변화를 관찰할 수 있었다.
본 논문에서는 서로 다른 시간대의 비정상 의견을 클러스터링하고 비교함으로써 특성의 변화를 관찰하는 방법을 제안하였다. 이를 검증하기 위해 3번의 선거 기간 동안 포털 사이트의 정치 기사에 게재된 백만 개 이상의 의견을 수집하였으며 이를 제안한 방법으로 분석하였다.
본 논문에서는 시간에 따른 비정상 정보 유포 방법의 변화를 추적하는 시스템을 제안한다. 이를 위해 서로 다른 두 시점 t 1 과 t 2 에서 수집된 비정상 의견의 특징을 학습 하고 학습된 모델 M(t 1 )과 M(t 2 )를 비교한다.

가설 설정

표 4에서 같은 점선으로 묶인 의견들이 같은 군집으로 분류된 의견들이다. 군집 수 K 값으로 4를 사용 했다고 가정하였다. 이에 따라 Year y₁에서 4개의 군집 c₁ ~c₄ 가, year y₂ 에서 4개의 군집 c₅ ~c₈ 이 생성되었다.
표 4의 각 원이 이와 같이 모델링된 의견 객체 하나를 나타낸다. 이 예제에 서는 각 의견이 2개의 특징으로 모델링되어 2차원 평면에 대응된다고 가정하였다. Year y₁ 과 year y₂ 는 의견이 수집된 서로 다른 년도를 나타낸다.

제안 방법

5.1장에서 기술한 시공간 분석 방법을 표 1과 같은 3개년도 데이터에 적용하여 2012년→2014년→2017년으로 시간이 지남에 따라 비정상 의견의 특성이 어떻게 변화 하는지 관찰하였다.
기사제목, 사용자명, 게재시간(표 2의 항목 1~3)이 같은 경우 동일한 의견으로 판별하였으며 이 후의견의 신고·삭제 여부 및 ID의 정지·삭제 여부를 확인하였다.
온라인 공간에 게재된 의견을 기술하는 특징(feature) 중 정상과 비정상을 구분하는 능력이 큰 특징을 선별하여 2개의 범주로 나누어 제시하였으며(표 3), 특히 이러한 구분 능력이 보다 잘 발현되도록 각 특징을 추상화(feature abstraction)하여 제시하였다(예: 게재 시간을 sine과 cosine으로 표현). 또한 클러스터링을 사용해 서로 다른 시간대의 군집을 대응시키고 변화를 추적하는 방법을 제안하였으며(표 5), 이를 실험을 통해 검증하였다. 이렇게 제시된 특징과 변화의 추적 방법은 본 연구에서 분석한 정치 관련 의견 외에 다른 다양한 주제의 의견을 분석하는 연구에도 활용될 수 있을 것이다.
수집된 의견의 특성이 시간에 따라 변해가는 것을 관찰하기 위해서는 관찰할 특징(feature)을 선정해야 한다. 본 논문에서는 3장에서 수집한 데이터로부터 추출할 수 있는 특징 중 표 3과 같은 89개의 특징을 선정하였으며 이로부터 각 의견을 89-tuple로 모델링하였다. 이를 통해 정상 행위와 구분되는 비정상 행위를 관찰하는 것이 목적이므로 구분 능력이 있는 특징을 선정하였으며, 특히 information gain 지표가 0.
비정상 의견을 89-tuple로 모델링할 때 각 특징을 0~1 사이의 값으로 정규화(normalization)하여 변화 정도가 큰일부 특징에 의해 클러스터링 결과가 좌우되지 않도록 하였다. 그리고 의견 내용의 유사도를 나타내는 특징 ⑱~⑲ 값을 결정할 때 임계값 T JC=0.
수집된 의견 중에서 (1) 비정상으로 신고 되었거나 삭제된 의견 및 (2) 게재한 ID가 정지되었거나 삭제된 의견을 선별하여 비정상 의견 분석에 활용하였다. 부적절한 의견(중상모략, 타인 ID 도용, 동일한 내용 중복 게시 등)은 사용자들이 신고할 수 있으며 포털의 검열 팀에 의해 검토된 후 규정 위반으로 판단되는 경우 삭제된다[25].
온라인 공간에 게재된 의견을 기술하는 특징(feature) 중 정상과 비정상을 구분하는 능력이 큰 특징을 선별하여 2개의 범주로 나누어 제시하였으며(표 3), 특히 이러한 구분 능력이 보다 잘 발현되도록 각 특징을 추상화(feature abstraction)하여 제시하였다(예: 게재 시간을 sine과 cosine으로 표현).
본 논문에서는 서로 다른 시간대의 비정상 의견을 클러스터링하고 비교함으로써 특성의 변화를 관찰하는 방법을 제안하였다. 이를 검증하기 위해 3번의 선거 기간 동안 포털 사이트의 정치 기사에 게재된 백만 개 이상의 의견을 수집하였으며 이를 제안한 방법으로 분석하였다. 그 결과 가능한 한 일찍 의견을 게재한 후 추천수를 조작 하는 방식과 다수의 ID로 유사한 의견을 나누어 게재하는 방식 등 비정상 의견 유포 방식의 다양한 변화를 추적할 수 있었다.
본 논문에서는 시간에 따른 비정상 정보 유포 방법의 변화를 추적하는 시스템을 제안한다. 이를 위해 서로 다른 두 시점 t 1 과 t 2 에서 수집된 비정상 의견의 특징을 학습 하고 학습된 모델 M(t 1 )과 M(t 2 )를 비교한다. 특히 기존의 탐지 시스템에서 많이 사용한 학습 모델인 SVM(Support Vector Machine)과 DNN(Deep Neural Networks) 등은 의미를 파악하고 비교하는 것이 쉽지 않으므로[12, 13] 모델의 해석이 보다 용이한 클러스터링(clustering) 기법을 활용한다.
본 논문에서는 3장에서 수집한 데이터로부터 추출할 수 있는 특징 중 표 3과 같은 89개의 특징을 선정하였으며 이로부터 각 의견을 89-tuple로 모델링하였다. 이를 통해 정상 행위와 구분되는 비정상 행위를 관찰하는 것이 목적이므로 구분 능력이 있는 특징을 선정하였으며, 특히 information gain 지표가 0.1보다 큰 특징을 선정하였다.
제안한 시공간 분석(temporal analysis) 방법은 선거 기간에 게재된 정치적인 목적의 비정상 정보에 적용해 실험하였다. 이탈리아[3], 미국[6], 러시아[14] 등 여러 나라에서 볼 수 있듯이 선거 기간 전후에 비정상 정보 유포가 빈번하므로 일정 기간 집중적인 데이터 수집이 용이하였기 때문이다.
이로부터 비정상 의견은 정상 의견에 비해 더일찍, 더 많은 추천수를 받음을 알 수 있다. 즉 기사 게재후 최대한 일찍 비정상 의견을 게재한 후 추천수를 증가 시킴으로써 이 후에 지속적으로 상위를 선점하도록 한다.
기존의 비정상 정보 탐지에 관한 연구는 주로 상업적 목적의 비정상 의견(상품에 대한 평가) 탐지에 초점을 맞추었다. 특히 1~5개 사이의 별점으로 상품을 평가하는 5-star rating system을 대상으로 하였는데 비정상 행위를 탐지하는 특징(feature)으로 (1) 각 사용자가 특정 상품에 대해 매우 높거나(5점) 매우 낮은(1점) 평가를 여러 번 게재하였는지의 여부[10] 및 (2) 이러한 평가가 다른 사용자의 평균적인 평점과 어느 정도 차이가 나는지[8] 등을 활용하였다. 본 논문에서 분석한 포털 사이트의 정치 기사에서는 상품 평에서와 같은 5-star rating system을 사용하지 않으므로 이러한 특징을 바로 적용하기는 어렵다.

대상 데이터

기사제목, 사용자명, 게재시간(표 2의 항목 1~3)이 같은 경우 동일한 의견으로 판별하였으며 이 후의견의 신고·삭제 여부 및 ID의 정지·삭제 여부를 확인하였다. 결과적으로 표 1과 같이 3개의 수집 기간에 대해 총 149,106개(=63,064+32,358+53,684)의 비정상 의견을 선별 하였다.
본 논문에서는 표 1과 같이 포털 사이트의 정치 관련 기사에 게재된 총 백만 개 이상의 의견을 수집하고 분석 하였다. 의견이 수집된 사이트는 3개의 포털 사이트 네이버[17], 다음[18], 네이트[19]로 월평균 천만 명 이상의 사용자가 방문한다[20].
의견이 수집된 사이트는 3개의 포털 사이트 네이버[17], 다음[18], 네이트[19]로 월평균 천만 명 이상의 사용자가 방문한다[20]. 이들 사이트에 게재된 정치 관련 기사 중 의견 교환이 활발히 일어난 기사를 선정하기 위해 최소 1,000개 이상의 의견이 게재된 기사에 대해 의견을 수집하였다. 특히 비정상 정보가 많을 것으로 예상되는 주요 선거 전후에 의견을 수집하였으며, 실제로 이 기간 중 다수의 의견 조작이 있었던 것으로 밝혀졌다[21, 22, 23].

이론/모형

K값이 이보다 크면 불필요하게 나누어지는 군집이 많이 나타나 동일한 특성을 가진 군집을 관찰하기 어려웠으며, K값이 이보다 작으면 특성이 다름에도 분리되지 않는 군집이 발생하였다. 군집 간 거리를 측정 하는 지표로는 Euclidean distance를 사용하였다.
특징 ⑲는 유사한 내용이 몇 명의 다른 사용자에 의해 유포되었는지를 나타낸다. 두 의견 O_i와 O_j의 내용이 유사함을 측정하기 위해 다음과 같은 Jaccard Coefficient(JC)[5]를 지표로 사용하였다:
각 군집(cluster)의 중심(centroid) 값을 분석하면 어떤 특성을 가진 군집이 있는지 해석하고 비교하기 편리하며 또한 시간에 따른 군집의 변화 과정을 관찰하기에도 용이하기 때문이다. 본 논문에서는 클러스터링 방법 중 K-means clustering[27]을 사용하였다.
시간에 따른 비정상 의견의 특징 변화를 분석하기 위해 비지도 학습(unsupervised learning) 방법 중 하나인 클러스터링(clustering)을 활용하였다. 각 군집(cluster)의 중심(centroid) 값을 분석하면 어떤 특성을 가진 군집이 있는지 해석하고 비교하기 편리하며 또한 시간에 따른 군집의 변화 과정을 관찰하기에도 용이하기 때문이다.
실험은 3.4GHz CPU(Intel Core i7-6700)와 16GB RAM이 장착된 PC에서 진행하였고 K-means clustering을 포함한 시공간 분석 방법은 오픈소스 과학계산 소프트웨어인 Octave[28]에서 구현하였다.

성능/효과

마지막으로 단계 #4에서는 단계 #3에서 파악한 대응 관계에 따라 각 군집이 겪은 변화를 분석한다. 군집의 크기가 변하는 양상을 보면 (1) 더 커지거나 새로 나타난 군집, (2) 더 작아지거나 소멸한 군집, (3) 유사한 크기를 유지하는 군집을 확인할 수 있다. 군집 c_i의 크기는 해당 년도의 총 의견수에 대한 비율로 계산한다.
이를 검증하기 위해 3번의 선거 기간 동안 포털 사이트의 정치 기사에 게재된 백만 개 이상의 의견을 수집하였으며 이를 제안한 방법으로 분석하였다. 그 결과 가능한 한 일찍 의견을 게재한 후 추천수를 조작 하는 방식과 다수의 ID로 유사한 의견을 나누어 게재하는 방식 등 비정상 의견 유포 방식의 다양한 변화를 추적할 수 있었다. 제안한 방법을 사용하여 비정상 의견을 주기적으로 관찰한다면 비정상 의견 검열 시스템을 개선하고 새로운 문제를 빠르게 탐지하는데 도움이 될 것이다.
따라서 본 논문에서는 학습한 모델의 해석에 보다 용이한 클러스터링에 기반한 분석 방법을 제안한다. 또한 이 방법을 실제 데이터에 적용함으로써 비정상 정보 유포 방식의 시간에 따른 변화를 관찰하는데 용이함을 보인다.
이에 더해서 주요 선거 이후에 의견 조작에 대한 수사가 시작되면서 증거를 인멸하기 위해 대량의 의견 및 관련 계정이 삭제되어 왔음이 밝혀졌다[26]. 본 연구에서도 표 1의 기간에 수집된 의견 중 10% 이상이 삭제된 것을 확인하였으며 이는 일반적인 삭제 비율 1~3%보다 높은 수치이다. 위 기준 (1)~(2)에 해당하는 의견을 확인하기 위해 의견을 수집 한지 3~5개월 후 수집된 의견의 상태를 다시 확인하였다 (그림 2 참조).

후속연구

마지막으로 유사한 비정상 의견을 복제하여 다수 게재 하는 방법은 지속적으로 많이 사용되고 있는데 이를 게재하는데 사용되는 ID의 수는 점차 증가하는 것으로 보아 복제한 의견을 여러 ID로 나누어 게재하는 것으로 보인다(그림 5(g)). 또한 내용이 복제되었음을 확인하기 어렵도록 완전히 동일한 텍스트를 게재하는 대신 일부 단어를 유사 단어로 대체하는 비율도 늘어나고 있어 앞으로는 유의어 사전[30]을 활용한 유사성 분석이 필요할 것이다. 텍스트는 다르지만 동일한 URL을 포함하는 경우도 증가하였다.
의견을 모델링하는데 사용하는 특징을 상품 평(예:5-star rating system)에 적합하게 변형시킨다면 제안한 방법을 유사하게 적용할 수 있을 것이다. 또한 동영상 시청이 증가하며 동영상에 게재되는 의견에도 비정상 정보 유포가 증가하고 있어, 이러한 의견에 나타나는 고유한 특성도 분석해볼 계획이다.
특히 1~5개 사이의 별점으로 상품을 평가하는 5-star rating system을 대상으로 하였는데 비정상 행위를 탐지하는 특징(feature)으로 (1) 각 사용자가 특정 상품에 대해 매우 높거나(5점) 매우 낮은(1점) 평가를 여러 번 게재하였는지의 여부[10] 및 (2) 이러한 평가가 다른 사용자의 평균적인 평점과 어느 정도 차이가 나는지[8] 등을 활용하였다. 본 논문에서 분석한 포털 사이트의 정치 기사에서는 상품 평에서와 같은 5-star rating system을 사용하지 않으므로 이러한 특징을 바로 적용하기는 어렵다.
사이버 안전국과 포털 사이트 관리부서에서는 본 연구 에서 수집하지 못한 각 사용자의 자세한 접속 기록(예: 접속한 IP 주소와 시간 등)에도 접근 가능하며 이를 사용해 동일한 IP 주소에서 다수의 ID로 접속이 이루어지는 등의 이상 징후를 확인하고 있다[31, 32]. 본 논문에서 제안한 방법에 이러한 추가 정보를 접목시킨다면 서로 연관된 ID의 군집을 파악하고 이들의 변화를 추적하는데 도움이될 것이다.
향후에는 본 논문에서 제안한 시공간 분석 방법을 상업적인 목적의 비정상 정보 관찰에도 활용해 볼 계획이다. 의견을 모델링하는데 사용하는 특징을 상품 평(예:5-star rating system)에 적합하게 변형시킨다면 제안한 방법을 유사하게 적용할 수 있을 것이다. 또한 동영상 시청이 증가하며 동영상에 게재되는 의견에도 비정상 정보 유포가 증가하고 있어, 이러한 의견에 나타나는 고유한 특성도 분석해볼 계획이다.
이들 연구에서는 정치 분야에 특화된 특징(각 사용자의 의견이 특정 정치성향을 일관되게 보이는지의 여부 [7])과 협력의 정황을 보여주는 특징(여러 사용자가 유사한 시간대에 유사한 의견을 함께 게재하는지의 여부[9])도 활용되었다. 이러한 특징은 본 논문에서도 비정상 정보 유포 방식을 관찰하는데 활용될 수 있다. 그러나 비정상 정보의 특징을 학습하는데 사용된 SVM 등의 학습 방법은 탐지 정확도는 높으나 학습 결과로 생성된 모델의 의미를 파악하고 시간에 따른 변화를 해석하기가 쉽지 않다[12].
또한 클러스터링을 사용해 서로 다른 시간대의 군집을 대응시키고 변화를 추적하는 방법을 제안하였으며(표 5), 이를 실험을 통해 검증하였다. 이렇게 제시된 특징과 변화의 추적 방법은 본 연구에서 분석한 정치 관련 의견 외에 다른 다양한 주제의 의견을 분석하는 연구에도 활용될 수 있을 것이다.
정리하면 기존 연구에서 사용한 일부 특징은 본 논문에서도 활용될 수 있다. 그러나 한 시점에서의 특징을 분석하였으며 본 논문에서와 같이 여러 시점에 따른 특징의 변화를 관찰하지는 않았다.
그 결과 가능한 한 일찍 의견을 게재한 후 추천수를 조작 하는 방식과 다수의 ID로 유사한 의견을 나누어 게재하는 방식 등 비정상 의견 유포 방식의 다양한 변화를 추적할 수 있었다. 제안한 방법을 사용하여 비정상 의견을 주기적으로 관찰한다면 비정상 의견 검열 시스템을 개선하고 새로운 문제를 빠르게 탐지하는데 도움이 될 것이다.
향후에는 본 논문에서 제안한 시공간 분석 방법을 상업적인 목적의 비정상 정보 관찰에도 활용해 볼 계획이다. 의견을 모델링하는데 사용하는 특징을 상품 평(예:5-star rating system)에 적합하게 변형시킨다면 제안한 방법을 유사하게 적용할 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	온라인 공간이란 무엇인가?	온라인 공간(online communities)은 사용자 간의 의견 교환을 통해 상호 작용이 이루어지는 가상공간을 말하며 의견 교환이 가능한 포털 사이트와 사회 관계망 서비스를 포함한다. 이들은 인터넷을 통해 언제 어디서든 접속 가능하므로 많은 사람들이 일상적으로 사용하고 있으며[1] 이에 따라 그 영향력도 점차 커지고 있다.
	정치적인 목적의 비정상 정보가 중요한 이유는?	이탈리아[3], 미국[6], 러시아[14] 등 여러 나라에서 볼 수 있듯이 선거 기간 전후에 비정상 정보 유포가 빈번하므로 일정 기간 집중적인 데이터 수집이 용이하였기 때문이다. 또한 정치적인 목적의 비정상 정보는 수백만 사용자의 인식과 투표 결과에 여러 해 동안 영향을 미친다는 면에서 중요하다[15, 16]. 본 논문에서는 3개 년도에 걸쳐 포털 사이트의 정치 기사에 게재된 백만 개 이상의 의견을 수집하고 분석하였으며 비정상 정보 유포 방식의 다양한 변화를 관찰할 수 있었다.
	시공간 분석 방법이 선거 기간에 게재된 정치적인 목적의 비정상 정보에 적용해 실험한 이유는 무엇인가?	제안한 시공간 분석(temporal analysis) 방법은 선거 기간에 게재된 정치적인 목적의 비정상 정보에 적용해 실험하였다. 이탈리아[3], 미국[6], 러시아[14] 등 여러 나라에서 볼 수 있듯이 선거 기간 전후에 비정상 정보 유포가 빈번하므로 일정 기간 집중적인 데이터 수집이 용이하였기 때문이다. 또한 정치적인 목적의 비정상 정보는 수백만 사용자의 인식과 투표 결과에 여러 해 동안 영향을 미친다는 면에서 중요하다[15, 16]. 본 논문에서는 3개 년도에 걸쳐 포털 사이트의 정치 기사에 게재된 백만 개 이상의 의견을 수집하고 분석하였으며 비정상 정보 유포 방식의 다양한 변화를 관찰할 수 있었다.

참고문헌 (32)

M. Fraser and S. Dutta, "Throwing sheep in the boardroom: how online social networking will transform your life, work and world," Wiley, 2008. https://books.google.co.kr/books?idBlfPVTcFPyQC
P. Adams, "Grouped: how small groups of friends are the key to influence on the social Web (voices that matter)," New Riders, 2011. https://books.google.co.kr/books?idc0hWlDIUv6gC
D. Mocanu, L. Rossi, Q. Zhang, M. Karsai and W. Quattrociocchi, "Collective attention in the age of (mis)information," Computing in Human Behavior, vol. 51, part B, pp. 1198-1204, 2015. https://doi.org/10.1016/j.chb.2015.01.024

상세보기
D. Centola, "The spread of behavior in an online social network experiment," Science, vol. 329, no. 5596, pp. 1194-1197, 2010. https://doi.org/10.1126/science.1185231

상세보기
Bing Liu, "Web data mining: exploring hyperlinks, contents, and usage data," Springer, 2011. https://doi.org/10.1007/978-3-642-19460-3
S. Shane and M. Mazzetti, "Inside a 3-year Russian campaign to influence US voters," The New York Times, 2018. https://www.nytimes.com/2018/02/16/us/politics/russiamueller-election.html
S. Lee, "Characterization and detection of political manipulation in online communities," Journal of Internet Technology, vol. 19, no. 4, pp. 1131-1142, 2018. https://doi.org/10.3966/160792642018071904016

상세보기
A. Mukherjee, B. Liu and N. Glance, "Spotting fake reviewer groups in consumer reviews," ACM WWW, pp. 191-200, 2012. https://doi.org/10.1145/2187836.2187863
J. Ratkiewicz, M. D. Conover, M. Meiss, B. Goncalves, A. Flammini and F. Menczer, "Detecting and tracking political abuse in social media," AAAI ICWSM, 2011. https://www.aaai.org/ocs/index.php/ICWSM/ICWSM11/paper/view/2850
E. Lim, V. Nguyen and N. Jindal, "Detecting product review spammers using rating behaviors," ACM CIKM, pp.939-948, 2010. https://doi.org/10.1145/1871437.1871557
"Warnings on fake reviews about cosmetic surgery," MBC News, 2016. https://news.naver.com/main/read.nhn?modeLSD&midsec&oid214&aid0000636073&sid1001
V. Cherkassky and S. Dhar, "Simple method for interpretation of high-dimensional nonlinear SVM classification models," DMIN, pp. 267-272, 2010. https://www.researchgate.net/publication/220705021_Simple_Method_for_Interpretation_of_High-Dimensional_Nonlinear_SVM_Classification_Models
G. Montavon, W. Samek and K. Muller, "Methods for interpreting and understanding deep neural networks," Elsevier Digital Signal Processing, vol. 73, pp. 1-15, 2018. https://doi.org/10.1016/j.dsp.2017.10.011

상세보기
"Russian Twitter political protests swamped by spam," BBC News, 2012. https://www.bbc.com/news/technology-16108876
R. Bond, et al., "A 61-million-person experiment in social influence and political mobilization," Nature, vol. 489, no. 7415, pp. 295-298, 2012. https://www.nature.com/articles/nature11421

상세보기
R. K. Garrett and B. E. Weeks, "The promise and peril of real-time corrections to political misperceptions," ACM CSCW, pp. 1047-1058, 2013. https://dl.acm.org/doi/10.1145/2441776.2441895
"Political news articles in Naver news," Naver, 2020. https://news.naver.com/main/main.nhn?modeLSD&midshm&sid1100
"Political news articles in Daum news," Daum, 2020. https://media.daum.net/politics/
"Political news articles in Nate news," Nate, 2020. https://news.nate.com/section?midn0200
"KoreanClick: Nielsen KoreanClick syndicated reports," Nielsen KoreanClick, 2019. http://www.koreanclick.com/
S. Choe, "Prosecutors detail attempt to sway South Korean election," The New York Times, 2013. https://www.nytimes.com/2013/11/22/world/asia/prosecutors-detail-bid-to-sway-south-korean-election.html
A. Shin, "Opposition party apologizes for spreading fake news on president's son during election," Arirang, 2017. http://www.arirang.co.kr/News/News_View.asp?nseq205688
S. Choe, "Ally of south Korean leader conspired to rig onlin opinion, inquiry finds," The New York Times, 2018. https://www.nytimes.com/2018/08/27/world/asia/moon-jae-in-online-scandal.html
J. Lee, "Manipulation of recommendation counts by military and government agencies," Media Today, 2013. http://www.mediatoday.co.kr/news/articleView.html?idxno112725
"Responsibility of users for their postings," Nate, 2016. http://www.nate.com/policy/legal.html
T. Lee, "National intelligence agency removed a massive number of opinions," News1, 2013. http://news1.kr/articles/1176188
S. P. Lloyd, "Least squares quantization in PCM," IEEE Transactions on Information Theory, vol. 28, no. 2, pp. 129-137, 1982. https://doi.org/10.1109/TIT.1982.1056489

상세보기
"GNU Octave: scientific programming language," 2019. https://www.gnu.org/software/octave/
S. Lee, "Detection of political manipulation in online communities through measures of effort and collaboration," ACM Transactions on the Web, Vol. 9, No. 3, Article No. 16, 2015. https://doi.org/10.1145/2767134

상세보기
C. Fellbaum and G. A. Miller, "Wordnet: an electronic lexical database (language, speech, and communication)," MIT Press, 1998. https://wordnet.princeton.edu/
R. Park, Y. Jang, W. Kang and J. Jang, "Education system development for cyber-crime defenses in national police agency," Research Report for National Police Agency, 2015. http://www.prism.go.kr/homepage/researchCommon/downloadResearchAttachFile.do;jsessionid1FD3E301B96AA2C78154B15B2A09D3C0.node02?work_key001&file_typeCPR&seq_no001&pdf_conv_ynY&research_id1320000-201500009
B. Paek, "No technologies exist that prevents all macros," ZDNet Korea, 2018. http://www.zdnet.co.kr/view/?no20180417172021

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증