[논문]SVM 분류 알고리즘을 이용한 스팸메일 필터링

민도식; 송무희; 손기준; 이상조

문제 정의

스팸메일의 다양한 자질을 어떻게 학습 및 분류에 적용할 것인지에 대한 연구롤 통해 어떤 자질이 스팸메일 필터링 시스템에 더 좋은 성능올 주는지에 대해서 향후 연구해 보고자 한다.

가설 설정

베이지안 분류기는 전자우편 문서에 나타난 단어들의 분포는 서로 독립임을 가정하며, 단어가 나타날 확률은 문서 내에서 단어의 위치와도 독립적이라고 가정한다. 베이지안 분류기는 범주가 출현할 사전 확률을 기반으로 하여 스팸과 논스팸으로나누어진 범주가 문서에 할당될 확률과, 특정 단어가 전자우편문서에서 발생할 조건 확률올 계산 분류하려는 문서 /) 에 단어 Termt 가 출현한 경우 전자우편 문서가 범주 C; 에 분류될 확률을 아래 수식(2)과 같이 계산된다[6].

제안 방법

SVM 분류기는 DF값 4일 때, 나이브 베이지안 분류기, 벡터모뗄을이용한 방법과 비교하였다.
SVM 학습 데이터 구성을 위한 자질로서는 TF, TF*IDF 각각과 두 가지 자질을 모두 사용하여 세 가지 자질 벡터를 각각 학습하여 스팸메일 필터링에 사용한다. 나이브 베이지안 학습데이터 구성올 위한 자질로서는 TF를 사용하였다.
따라서 본 논문은 각각의 자질 선택 방법에 대해, DF값으로 자질 공간을 축소하기 위해 단어의 DF값에 따른 학습 데이터를 구성하였다. 각각의 학습데이터는 DF값올 1~4까지 주어 각각의 DF값 이상을 학습 데이터로 구성하여 학습하였다.
각각의 학습된 문서는 선형 SVM와 나이브 베이지안 분류■기를 통해 필터링하고, 벡터 모델은 코사인 유사도 공식을 이용하여 자질 벡터와 전자우편 문서 사이의 유사도로 스팸메일을 필터링하였다.
학습 데이터가 많아지면 분류에 더 나은 성눙을 보일 수 있지만 비례 적으로 자질의 수도 많아져 자질공간이 커지게 되고, 학습과 분류에 많은 시간을 필요로 하게 된다. 따라서 본 논문은 각각의 자질 선택 방법에 대해, DF값으로 자질 공간을 축소하기 위해 단어의 DF값에 따른 학습 데이터를 구성하였다. 각각의 학습데이터는 DF값올 1~4까지 주어 각각의 DF값 이상을 학습 데이터로 구성하여 학습하였다.
간단한 예로, '광고'라는 문구가 들어있는 스팸메일에 대한규칙 기반 필터링에서눈 특정 단어의 매칭을 통해 필터링하게 되겠지만, 지능화된 스패머 (Spammer) 들에 의해 제목이나 본문의 내용 중에 광고라는 문구를 '광—고', '광**고' 등의 변형된 형태에 대해서는 스팸 문서를 필터링 하기 힘들다는 것이다. 따라서 본 논문은 단어를 대상으로 자질올 선택하여 SVM을 통해 학습하고, 분류하는 방법을 제안하며, 단어를 대상으로 한 자질 선택에서 자질 공간 축소를 위해 DF 값의 변화를 사용하였다. 그림 1은 본 논문에서 제안된 전자우편문서 분류기의 시스템 구성이다.
또한 SVM 사용에서는 학습단계에 DF값 변화에 따른 자질 공간의 축소를 통해 나은 성능올 보이는 DF값을 임계값으로 하여나이브 베이지안과 벡터 모델올 이용한 분류기와 성능을 비교분석 하였다.
본 논문에서는 헤더와 본문에 나오는 단어들을 사용하였으며 , 자질 선택 방법으로 TF, TF*IDF를 사용한다. 분류 자질의 선정은 자칠 공간의 축소를 의미한다.

대상 데이터

테스트 및 학습 문서는 실험을 위해 3개 원 분량의 메일올 사용하였으며, 학습문서 수는 666개의문서롤 대상으로 이루어진다, 실험 대상 문서 중 스팸 문서 수는 441개 이고 논스팸 문서 수는 225개로 구성되어 았다. 그리고 분류기의 성능을 평가하기 위해 153개의 문서롤 분류하는 실혐을 하였다. 테스트 문서 중에 스팸 문서 수는 100개이고 논스팸 문서 수는 53개로 구성되어 있다.
스팸메일 필터링에 사용한다. 나이브 베이지안 학습데이터 구성올 위한 자질로서는 TF를 사용하였다.
실험은 각각의 분류에 대해 동일한 학습 문서와 테스트데이터를 사용하였다. 테스트 및 학습 문서는 실험을 위해 3개 원 분량의 메일올 사용하였으며, 학습문서 수는 666개의문서롤 대상으로 이루어진다, 실험 대상 문서 중 스팸 문서 수는 441개 이고 논스팸 문서 수는 225개로 구성되어 았다.
이 실험에서는 선형 SVM만을 사용하였다. 그러나 SVMe 입력 데이터가 선형분리가 뿔가능할 경우 입력공간을 분리하는 비선형 결정면올 이용하게 된다.
그리고 분류기의 성능을 평가하기 위해 153개의 문서롤 분류하는 실혐을 하였다. 테스트 문서 중에 스팸 문서 수는 100개이고 논스팸 문서 수는 53개로 구성되어 있다. 본 실험을 위해 SVMe SVM Light[9)롤 사응하였다.
사용하였다. 테스트 및 학습 문서는 실험을 위해 3개 원 분량의 메일올 사용하였으며, 학습문서 수는 666개의문서롤 대상으로 이루어진다, 실험 대상 문서 중 스팸 문서 수는 441개 이고 논스팸 문서 수는 225개로 구성되어 았다. 그리고 분류기의 성능을 평가하기 위해 153개의 문서롤 분류하는 실혐을 하였다.

데이터처리

본 실험의 평가는 정확율과 재현율울 사용하여 성능을 평가하였다. 실험 결과는 DF 임계값 4에서 SVM을 이용해 학습하여 스팸메일을 분류할 때 나머지 다른 DF값 보다 높은 수치롤보였다.

이론/모형

본 논문은 전자우편 문서의 제목과 본문에 나오는 단어롤대상으로 자질을 선택하였고, 최근에 문서 분류예서 높은 성능을 보이고 있는 분류 방법인 SVM을 사용하였다. 또한 SVM 사용에서는 학습단계에 DF값 변화에 따른 자질 공간의 축소를 통해 나은 성능올 보이는 DF값을 임계값으로 하여나이브 베이지안과 벡터 모델올 이용한 분류기와 성능을 비교분석 하였다.

성능/효과

전체적으로 학습 데이터의 양이 늘어난다면 DF값을 이용하여 적당한 자질공간을 이용하여야 한다. 단어에 대한 자질로서 TF와 TF*IDF 그리고 두 가지방법울 모두 이용한 실험에서 분류 결과는 비숫한 결과롤주었지만, 두 가지 자질을 모두 선택한 방법에서 좀더 나은 결과를 주었다.
또한 일반문서 분류에서 SVMe 나이브 베이지안 보다 좋은성눙을 보였다. Thorsten Joachhns[4]는 Naive Bayes, Rocchio, k-neareat neighbors, C₄.
스팸메일 필터링에서 나이브 베이지안을 이용한 분류와벡터모뎰을 이융한 분류 보다 SVM을 이용한 분류가 좋은 결과를 주었고, SVM의 자질공간을 줄이기 위해 DF 값을 임계치로 사용한 실험에서는 대부분 좋은 결과를 주었지만, DF값이 4일 때 더 나은 결과를 주었다.
5, SVM의 다섯 가지 알고리즘을 비교했다. 실험 결과 SVM과 나이브 베이즈를제외하고 최적의 자질 수는 전체 자잘 수보다 작았다. SVM의 경우 모든 자질을 사용함으로써 다른 분류방법을 사용하는 것보다 좋은 수행올 얻올 수 있었다.
실험 결과는 DF 임계값 4에서 SVM을 이용해 학습하여 스팸메일을 분류할 때 나머지 다른 DF값 보다 높은 수치롤보였다. 자질공간울 즐이며 성능에 크게 영향을 주지 못하는 단어 자질들이 제거되어 다른 DF값 보다 나온 성능을 보였다.
실힘 결과, 표 2에서 TF와 TF*IDF 자질을 사용한 스팸메일 분류 예 대해 SVM이 나이브 베이지안과 벡터 모텔에 비햬정확율, 재현율에서 좋은 성능을 보였다. 그리고 각각의 자질을 달리한 SVM에서 큰 차이는 보이지 않았다.
실험 결과는 DF 임계값 4에서 SVM을 이용해 학습하여 스팸메일을 분류할 때 나머지 다른 DF값 보다 높은 수치롤보였다. 자질공간울 즐이며 성능에 크게 영향을 주지 못하는 단어 자질들이 제거되어 다른 DF값 보다 나온 성능을 보였다. 본 실험에서는 DF값을 4까지만 주었고, 4이상이 DF 값이 주어진다면 자질공간온 많이 축소 되겠지만, 중요한 정보롤가진 단어들도 제거될 것이다.
그리고 각각의 자질을 달리한 SVM에서 큰 차이는 보이지 않았다. 적은 학습 문서와 테스트 데이터 였지만, 전체적으로 SVM온 좋운 성능을 보였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

SVM 분류 알고리즘을 이용한 스팸메일 필터링
SPam-mail Filtering Using SVM Classifier 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

SVM 분류 알고리즘을 이용한 스팸메일 필터링 SPam-mail Filtering Using SVM Classifier 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

SVM 분류 알고리즘을 이용한 스팸메일 필터링
SPam-mail Filtering Using SVM Classifier 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper