블로그는 웹과 로그의 합성어로, 개개인의 생각이나 관심사 등을 일기처럼 기록할 수 있는 웹 서비스이다. 블로그에는 문자 외에, 그림이나 비디오 파일 등 다양한 컨텐츠를 올릴 수 있다. 일반적으로 블로그의 포스트는 시간상의 역순으로 정렬되어 표현된다. 블로그 검색 엔진은 웹 검색 엔진처럼 블로그를 대상으로 사용자의 질의에 따라 정보를 찾아주는 서비스이다. 블로그 검색 엔진은 때때로 만족스럽지 못한 결과를 내곤 하는데, 이것은 스플로그라고 불리는 블로그 스팸에 의해 발생한다. 스플로그는 다른 블로그나 웹 페이지를 무단 도용하거나 자동으로 생성된 컨텐츠로 구성된 스팸 포스트를 가지고 있다. 스플로그는 검색 엔진의 검색 순위를 높이거나, 회원 가입 사이트로 보다 많은 사람들을 유치하기 위해 사용된다. 본 논문은 스플로그 탐지를 목적으로 한다. 본 논문에서 제안하는 스플로그 탐지 기법은 블로그 포스트의 구조 유사성과 일일 포스트 발행수에 따른 분석으로 토대로 이루어진다. 본 논문에서 제안하는 기법을 바탕으로 한 실험의 결과, 스플로그 탐지에 있어 90% 이상의 높은 정확도를 가지며, 만족할만한 수준을 보여준다.
블로그는 웹과 로그의 합성어로, 개개인의 생각이나 관심사 등을 일기처럼 기록할 수 있는 웹 서비스이다. 블로그에는 문자 외에, 그림이나 비디오 파일 등 다양한 컨텐츠를 올릴 수 있다. 일반적으로 블로그의 포스트는 시간상의 역순으로 정렬되어 표현된다. 블로그 검색 엔진은 웹 검색 엔진처럼 블로그를 대상으로 사용자의 질의에 따라 정보를 찾아주는 서비스이다. 블로그 검색 엔진은 때때로 만족스럽지 못한 결과를 내곤 하는데, 이것은 스플로그라고 불리는 블로그 스팸에 의해 발생한다. 스플로그는 다른 블로그나 웹 페이지를 무단 도용하거나 자동으로 생성된 컨텐츠로 구성된 스팸 포스트를 가지고 있다. 스플로그는 검색 엔진의 검색 순위를 높이거나, 회원 가입 사이트로 보다 많은 사람들을 유치하기 위해 사용된다. 본 논문은 스플로그 탐지를 목적으로 한다. 본 논문에서 제안하는 스플로그 탐지 기법은 블로그 포스트의 구조 유사성과 일일 포스트 발행수에 따른 분석으로 토대로 이루어진다. 본 논문에서 제안하는 기법을 바탕으로 한 실험의 결과, 스플로그 탐지에 있어 90% 이상의 높은 정확도를 가지며, 만족할만한 수준을 보여준다.
A blog is a website, usually maintained by an individual, with regular entries of commentary, descriptions of events, or other material such as graphics or video. Entries are commonly displayed in reverse chronological order. Blog search engines, like web search engines, seek information for searche...
A blog is a website, usually maintained by an individual, with regular entries of commentary, descriptions of events, or other material such as graphics or video. Entries are commonly displayed in reverse chronological order. Blog search engines, like web search engines, seek information for searchers on blogs. Blog search engines sometimes output unsatisfactory results, mainly due to spam blogs or splogs. Splogs are blogs hosting spam posts, plagiarized or auto-generated contents for the sole purpose of hosting advertizements or raising the search rankings of target sites. This thesis focuses on splog detection. This thesis proposes a new splog detection method, which is based on blog post structure similarity and posting count per day. Experiments based on methods proposed a day show excellent result on splog detection tasks with over 90% accuracy.
A blog is a website, usually maintained by an individual, with regular entries of commentary, descriptions of events, or other material such as graphics or video. Entries are commonly displayed in reverse chronological order. Blog search engines, like web search engines, seek information for searchers on blogs. Blog search engines sometimes output unsatisfactory results, mainly due to spam blogs or splogs. Splogs are blogs hosting spam posts, plagiarized or auto-generated contents for the sole purpose of hosting advertizements or raising the search rankings of target sites. This thesis focuses on splog detection. This thesis proposes a new splog detection method, which is based on blog post structure similarity and posting count per day. Experiments based on methods proposed a day show excellent result on splog detection tasks with over 90% accuracy.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
또한, 본 논문에서는 스플로그 탐지를 위한 블로그의 일일 포스트 발행수를 측정하는 방법을 제시하였다. 이상의 제시한 두 특성을 바탕으로 SVM을 통해 실제 분류 작업을 수행 결과 스플로그 탐지에 있어 90% 이상의 높은 정확률을 보였으며, 이는 만족할만한 수준이다.
본 논문에서는 블로그 포스트의 구조를 비교한다. 블로그 포스트는 HTML 구조로 표현 가능하다.
본 논문에서는 블로그 포스트의 일일 발행수를 분석하여 스플로그를 탐지하는데 적용하고자 한다.
본 논문에서는 블로그의 두 가지 특성을 이용하여 스플로그를 탐지하고자 하였다. 본 논문에서 제안한 기법은 블로그 내 포스트들 간의 구조 유사도와 블로그의 일일 포스트 발행수를 분석한 것이다.
척도는 포스트의 본문에 대한 유사도이다. 본 논문에서는 포스트들 간의 구조 유사도를 측정하기 위해, 포스트 중 본문에 대해 트리 구조를 구성한 뒤 각각의 트리 구조에 대한 유사도를 측정하는 방법을 제시하였다.
본 연구는 블로그 스팸의 탐지를 목적으로 하고 있다. 블로그 스팸은 블로그 검색시 검색 결과의 신뢰성을 떨어드리고, 불필요한 트래픽을 야기하여 효율적인 검색 활동을 방해한다.
이에 본 논문은 스플로그 탐지에 대한 연구를 통해 만족스러운 웹 활동을 하는데 도움을 주고자 한다.
블로그 스팸은 블로그 검색시 검색 결과의 신뢰성을 떨어드리고, 불필요한 트래픽을 야기하여 효율적인 검색 활동을 방해한다. 이에 블로그 검색 엔진에서 적용 가능한 블로그 스팸 탐지 기법을 ■개발하여 블로그 검색 시보다 양질의 검색 결과를 구하려고 한다.
이와 같은 스플로그의 두 가지 특성을 이용하여 본 논문에서는 스플로그를 탐지하려 한다.
과거의 스플로그는 주로 제휴 사이트로 많은 사람들의 끌여들이는 데에 목적이 있었다. 하지만, 현재의스플로그는 애드센스로 대표되는 PPC(Pay Per Click, 클릭당지불), PPKPay Per Impression, 노출당지불) 광고로부터 더욱 많은 수익을 얻는 데 목적이 있다. 이에스플로그의 방식도 기존의 프로그램에 의한 자동 생성방식에서 일반인의 관심이 높은 기사를 다수 게시하는 방식으로 바뀌었다.
가설 설정
대한 의사코드는 표 7과 같다. 가 일에 대해, 그날에 발행된 포스트이 수를 알고 있고, 해당 블로그에서 발행된 전체 포스트의 개수를 알고 있다고 가정한다.
트리의 각 노드들에 대한 ID, 노드명, 부모 ID에 대한 정보는 미리 알고 있다고 가정한다. 또한 루트 노드의 부모 ID는 2이라 가정한다.
표 1은 이에 대흔 의사코드이다. 트리의 각 노드들에 대한 ID, 노드명, 부모 ID에 대한 정보는 미리 알고 있다고 가정한다. 또한 루트 노드의 부모 ID는 2이라 가정한다.
제안 방법
URL Tokens와 Anchor Text 특성은 블로그 포스트 중 앵커 태그만을 추출하여 평가한다. 앵커 태그는 화면에 보여지는 텍스트와 하이퍼링크를 포함하는데, 이 중 하이퍼링크에 해당하는 부분이 URL Tokens이고 텍스트에 해당하는 부분이 Anchor Text이다.
또한 실험은 본 논문에서 제안하는 기법과 동일한 5- 묶음 교차 검증법으로 선형 커널함수를 적용한 SVM- light를 통해 분류하였다. 이에 대하여 표 14의 결과를 얻었다.
정상 블로그와 스플로그의 판단에 사용된 단어들은 정상 블로그와 스플로그 두 영역에서 사용 빈도가 높은 단어들을 추출한 것이다. 또한 실험은 본 논문에서 제안하는 기법과 동일한 5-묶음 교차 검증법으로 다항 커널함수를 적용한 SVMlight를 통해 분류하였다. 이에 대하여 표 12의 결과를 얻었다.
블로그의 포스트들은 기본적으로 시간적 순서를 지니는데, 이러한 특성을 바탕으로 기준 포스트에서 이후에 게시된 포스트로의 게시 시각, 포스트 컨텐츠 내용 그리고 포스트 내의 아웃 링크 등의 속성들이 얼마나 차이를 보이는지 비교한다. 또한, 저자들은 컨텐츠와 링크의 변화가 동시에 일어남을 발견하고, 두 특성에 대해 결합분석도 실험하였다[7].
탐지하고자 하였다. 본 논문에서 제안한 기법은 블로그 내 포스트들 간의 구조 유사도와 블로그의 일일 포스트 발행수를 분석한 것이다.
3장은 본 논문에서 제안하는 기법에 대해 설명한다. 본 논문에서는 블로그 스팸 탐지에 대한 두 가지 척도를 제안하며, 각각의 대한 계산 방법을 포함하고 있다. 4장은 논문에서 제안하는 기법에 대한 실험 결과를 나타낸다.
본 실험은 앞서 설명한 블로그의 두 가지 특성을 이용해서 스플로그를 탐지한다. 본 실험의 스플로그 탐지는 SVM을 통해 데이터셋을 정상 블로그와 스플로그로분류하는 방법으로 이루어졌다.
스플로그를 탐지한다. 본 실험의 스플로그 탐지는 SVM을 통해 데이터셋을 정상 블로그와 스플로그로분류하는 방법으로 이루어졌다. 실험은 다항 커널함수 (Polynomial Kernel Function)를 적용한 SVM light를 사용하여, 5-묶음 교차 검증법 (5-Fold Cross-Valida- tion)을 통해 실시되었다[6, 9丄
블로그 내의 포스트들은 하나의 포스트를 패턴으로, 나머지 포스트들을 테스트 대상로 설정한 후 각각의 테스트 대상들이 패턴과 얼마만큼 일치하는지를 검사한다
그들이 제시한 자기 유사 분석은 블로그 내의 포스트들 간의 관계를 분석한 것이다. 블로그의 포스트들은 기본적으로 시간적 순서를 지니는데, 이러한 특성을 바탕으로 기준 포스트에서 이후에 게시된 포스트로의 게시 시각, 포스트 컨텐츠 내용 그리고 포스트 내의 아웃 링크 등의 속성들이 얼마나 차이를 보이는지 비교한다. 또한, 저자들은 컨텐츠와 링크의 변화가 동시에 일어남을 발견하고, 두 특성에 대해 결합분석도 실험하였다[7].
시간적 자기-유사성 분석과의 비교 실험을 실시하였다. 이 비교 실험은 하루 동안 포스트의 발행 시간을 비교한 것으로, 이 기법은 자동 생성된 스플로그의 포스트를 탐지하는데 효과적이라고 알려져 있다.
이런 이유로, 패턴과 테스트대상을 바꿔 다시 비교한다. 즉, 표 3의 경우와 반대로 오른쪽 트리를 패턴으로, 왼쪽 트리를 테스트로 설정하고 비교한다.
이는 비정상적으로 발행된 포스트들을 나타내며, 이렇게 발행된 포스트가 전체 포스트 중 얼마나 차지하는 지 계산한다. 즉, 하루 동안 10개 이상의 포스트를 발행한 일들에 대해 해당 일에 발행된 포스트 전체를 합한 후, 블로그 내의 전체 포스트에 대한 백분율을 구한다.
추출한 데이터로부터 실험에 사용하기 위한 정상 블로그와 스플로그 각각 100개씩을 추출하고, 각각의 블로그에서 30개씩의 포스트를 추출해 교차 비교 실험을 실시하였다.
트리의 루트를 제외한 루트 노드에서 각각의 자식 노드까지의 링크 정보를 깊이우선순위 탐색 방식으로 구한다. 예를 들어, 그림 4에서 'center 노드'의 정보는 'div-center'가 되고, 'img 노드'의 정보는 'div-div-img' 가 된다.
또한, 각각의 노드의 순서는 'center -> script-> br -> div -> img bF 순이다. 포스트의 본문에 대한 모든 노드의 정보를 구한 후:, 다믄 포스트의 본문에 대한 노드 정보들과 각각 비교한다.
대상 데이터
하루 동안 1。개 이상의 블로그를 발행하는 일을 대상으로 한다. 이는 비정상적으로 발행된 포스트들을 나타내며, 이렇게 발행된 포스트가 전체 포스트 중 얼마나 차지하는 지 계산한다.
K-묶음 교차 검증법은 원본 데이터를 K개의 부분들로 나누는 것으로 시작한다. 나뉜 K개의 부분들 중 K-1개 이용해 모델을 학습시키고, 나머지 1개를 이용해 모델을 테스트한다. 이러한 일련의 과정을 모든 K 개의 부분들에 대해 적용시킨다.
본 논문에서 주장하는 기법에 대한 실험은 2008년 2 월 14일부터 2008년 5월 10일까지 웹에서 추출한 실제 데이터를 바탕으로 진행하였다.
실험에 사용된 데이터는 300개의 블로그에서 포스트의 구조 유사도를 실험하기 위해 56, 753개의 포스트를, 블로그의 일일 발행수에 대한 실험을 위해 6만여 개의 일일 아카이브 데이터를 수집하였다.
이론/모형
가장 일반적으로 사용되는 스플로그 탐지 기법인 Bag- of-Words 기법을 사용하여 본 장에서 주장하는 기법과 비교 실험을 실시하였다. 정상 블로그와 스플로그의 판단에 사용된 단어들은 정상 블로그와 스플로그 두 영역에서 사용 빈도가 높은 단어들을 추출한 것이다.
앵커 태그는 화면에 보여지는 텍스트와 하이퍼링크를 포함하는데, 이 중 하이퍼링크에 해당하는 부분이 URL Tokens이고 텍스트에 해당하는 부분이 Anchor Text이다. 블로그 포스트의앵크 태그의 텍스트와 하이퍼링크를 단어 단위로 구분 추출하여 앞서 보인 Bag-of-Words 기법을 적용한다.
본 실험의 스플로그 탐지는 SVM을 통해 데이터셋을 정상 블로그와 스플로그로분류하는 방법으로 이루어졌다. 실험은 다항 커널함수 (Polynomial Kernel Function)를 적용한 SVM light를 사용하여, 5-묶음 교차 검증법 (5-Fold Cross-Valida- tion)을 통해 실시되었다[6, 9丄
이를 바탕으로 그림 9에서는 ROC-curve(Receiver Operation Characteristic curve)를 구하였다.
성능/효과
만족스러운 결과를 나타내고 있다. 데이터의 수를 달리한 실험에서도 90% 이상의 성능을 보이는데, 이는 본 논문의 제안 기법이 데이터의 수와 무관하게 스플로그탐지에 효과적임을 나타낸다.
본 논문의 제안 기법은 표 8에서 알 수 있듯이 상당히 만족스러운 결과를 나타내고 있다. 데이터의 수를 달리한 실험에서도 90% 이상의 성능을 보이는데, 이는 본 논문의 제안 기법이 데이터의 수와 무관하게 스플로그탐지에 효과적임을 나타낸다.
이는 본 논문의 제안 기법이 Bag-of-Words 보다 나은 성능을 보임을 증명한다.
제시하였다. 이상의 제시한 두 특성을 바탕으로 SVM을 통해 실제 분류 작업을 수행 결과 스플로그 탐지에 있어 90% 이상의 높은 정확률을 보였으며, 이는 만족할만한 수준이다.
참고문헌 (12)
Dennis Fetterly, Mark Manasse, Marc Najork, "Spam, Damn Spam, and Statistics," Seventh International Workshop on the Web and Databases (WebDB 2004), 2004.
Wikipedia, "blog," Online at http://en.wikipedia.org/wiki/Blog
Wikipedia, "Spam Blog," Online at http://en.wikipedia.org/wiki/Spam_blog
Wikipedia, "Spam in Blogs," Online at http://en.wikipedia.org/wiki/Spam_in_blogs
Pranam Kolari, Akshay Java, Tim Finin, Tim Oates, Anupam Joshi, "Detecting Spam Blogs: A Machine Learning Approach," Proceedings of the 21st National Conference on Artificial Intelligence (AAAI 2006), 2006.
Yu-Ru Lin, Hari Sundaram, Yun Chi, Junichi Tatemura, Belle Tseng, "Splog Detection Using Selfsimilarity Analysis on Blog Temporal Dynamics," AIRWeb 2007, 2007.
Pranam Kolari, Tim Finin, Akshay Java, Anupam Joshi, "Towards Spam Detection at Ping Servers," ICWSM 2007, 2007.
Wikipedia, "K-fold cross-validation," Online at http://en.wikipedia.org/wiki/Cross_validation#K-fold _cross-validation
Wikipedia, "Spamdexing," Online at http://en.wikipedia.org/wiki/Spamdexing
Zoltan Gyongyi, Hector Garcia-Molina, "Web Spam Taxonomy," 30th International Conference on Very Large Data Bases (VLDB 2004), 2004.
Pranam Kolari and Akshay Java and Tim Finin, "Characterizing the Splogosphere," In WWW 2006, 3rd Annual Workshop on the Weblogging Ecosystem: Aggregation, Analysis and Dynamics, 2006.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.