선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 범람하는 스팸메일을 차단하기 위해, 어휘/품사 쌍의 자질을 이용하여 지지벡터 기계를 학습하여 자동으로 스팸메일을 걸러낼 수 있는 스팸메일 필터 시스템을 제안하였다. 어휘/품사 쌍의 자질은 각 자질의 카이제곱 통계량을 이용하여 선택하였으며 자질을 선택하기 전보다 선택한 후에 시스템의 성능이 향상되었다.
- 본 연구에서는 지지벡터기계에 사용하는 자질을 카이제곱 통계량을 이용하여 선택하는 방법[14]을 스팸메일 필터 시스템에 이용하는 것을 제안한다. 스팸메일 필터 시스템은 수신된 이메일을 자동으로 스팸메일과 정상메일로 분류하는 이진 분류 시스템이다.
가설 설정
- H2 : y=w·x + b = –1.
제안 방법
- 정확도 가중치는 학습문서가 스팸 특성의 변화에 더 잘 적응하도록 학습 문서 유지관리에도 사용되었는데, 새 문서를 분류할 때, 이전 학습문서들 중 정확한 분류에 기여한 학습문서의 가중치를 높여줌으로써 좋은 자질에 가중치를 주었다. 가중치가 적용된 거리 함수를 학습문서와 테스트 문서 사이의 유사도 측정에 사용하여 스팸메일을 분류하였다.
- 먼저 최적의 자질 개수를 선택하기 위해 카이제곱 통계량에 따른 성능을 살펴보자. 다음 <표 2>는 카이제곱 통계량에 따른 정확도를 나타내며 자질 벡터의 가중치로 TF-IDF 를 사용하고 ham50 평가 데이터로 평가한 결과이다.
- 지지벡터 기계의 학습을 위한 자질은 2장에서 설명한 어휘/품사 쌍의 자질들이 벡터의 각 차원을 구성하며 TF, TF-IDF, 또는 이진 가중치 등이 각 차원의 값이 되어 벡터를 구성한다. 본 연구에서는 LIBSVM[9]을 이용하였고 여러 가지 커널에 대해 반복 실험 결과 비교적 좋은 성능을 보인 선형 커널을 이용하여 학습하였다.
- 각각의 자질에 가중치를 부여하는 방법은 이진 가중치, 용어 및 역문헌 빈도(Term Frequency-Inverse Document Frequency) 가중치, 용어 및 역범주 빈도(Term FrequencyInverse Category Frequency) 등 여러 가지가 있다. 본 연구에서는 TF 가중치, TF-IDF 가중치, 이진 가중치를 각각 사용하여 실험한다. 스팸메일 필터기에 적용하기 위해 TF-IDF 값을 계산하는 경우, 용어(term)는 자질로, 문서(document)는 이메일로, 범주(category)는 스팸메일과 정상 메일로 간주하여 계산한다.
- 본 연구에서는 TREC05-p1 데이터[19]를 실험에 이용한다. 수집된 메일은 형태소 분석기를 이용하여 자동으로 품사를 부착하였다. 다음 (그림 2)는 품사 부착 전의 메일과 품사 부착 후의 메일 데이터의 예를 나타낸다.
- 기계 학습에서 적절한 자질의 선택은 시스템의 성능에 많은 영향을 끼친다. 스팸메일 필터 시스템에서는 URL자질과 n-gram 자질을 주로 사용하는데, 본 연구에서는 어휘/품사 자질만 사용하며 각 자질의 가중치로 TF, TF-IDF, 이진 가중치 등을 사용하여 실험을 한다. 다음 (그림 1)은 제안하는 시스템의 구조도이다.
대상 데이터
- TREC05-p1 말뭉치는 92,189개의 이메일로 구성되어 있으며 정상메일과 스팸메일의 비율을 조정한 5개의 부분집합이 존재한다. 기계학습의 편이를 위하여 그 중에서 랜덤 추출한 6,572개의 데이터를 학습데이터로 사용한다. 평가데이터로는 TREC05-p1의 5개의 부분집합을 학습데이터와 겹치지 않도록 각각 1/100의 확률로 랜덤 추출한 데이터 3,168개를 사용한다.
- 본 연구에서 TREC05-p1 말뭉치[19]의 일부분을 사용하였다. TREC05-p1 말뭉치는 92,189개의 이메일로 구성되어 있으며 정상메일과 스팸메일의 비율을 조정한 5개의 부분집합이 존재한다.
- 본 연구에서는 TREC05-p1 데이터[19]를 실험에 이용한다. 수집된 메일은 형태소 분석기를 이용하여 자동으로 품사를 부착하였다.
- 본 연구에서는 수집된 이메일 파일을 HAM[17]과 Montylingua[18]을 이용하여 자동으로 품사를 부착하였으며, 품사가 부착된 어휘/품사 쌍을 자질로 사용하였다. 따라서 가능한 자질의 종류는 수집된 이메일에서 발견되는 모든 어휘/품사 쌍이 되며, 매우 많은 수의 자질이 나타나게 된다.
- 기계학습의 편이를 위하여 그 중에서 랜덤 추출한 6,572개의 데이터를 학습데이터로 사용한다. 평가데이터로는 TREC05-p1의 5개의 부분집합을 학습데이터와 겹치지 않도록 각각 1/100의 확률로 랜덤 추출한 데이터 3,168개를 사용한다. 다음 <표 1>은 실험에 사용된 말뭉치 구성을 보인다.
데이터처리
- 이러한 자질들 중에서는 스팸메일을 결정하는 데 기여를 하는 자질이 있기도 하지만 그렇지 않은 경우나 오히려 방해가 되는 자질들도 존재를 하게 된다. 불필요한 자질을 제거하기 위해 카이제곱 통계량을 이용해서 자질을 선택한다. 카이제곱 통계량을 계산하는 식은 다음과 같다[11].
이론/모형
- 스팸메일 필터 시스템은 주어진 이메일이 스팸인지 아닌지를 판별하는 시스템이다. 우리는 제안 시스템의 평가 척도로 일반적인 시스템에서 많이 사용하는 정확률, 재현율, 정확도(accuracy) 등과 스팸메일 분류기에 사용하는 정상메일오류율-Hm(Ham misclassification rate), 스팸메일오류율-Sm(Spam misclassification rate), (1-ROCA)% 방법을 사용한다. [16]에서 소개된 1-ROCA 방법은 ROC(Receiver Operating Characteristic) 곡선 아래의 면적을 이용하여 계산하는데, 그 값은 어떤 스팸메일 분류기(classifier)가 하나의 메시지를 정상메일이 아니라 스팸메일이라고 판단하였을 때 오류가 발생할 확률값이며, ‘0%’의 값을 가질 때 완벽한 시스템이 된다.
성능/효과
- 가중치가 부여된 베이지안 분류기[2]는 정보통신부의 개정안을 준수하는 메일 분류를 위한 전처리 단계와 사용자의 행동을 학습하는 지능형 에이전트가 결합된 형태의 시스템을 제안하였고 나이브 베이지안 분류기보다 재현율에서 우수함을 보였다. 자질들의 독립을 가정하는 나이브 베이지안 분류기를 확장한 Less Naïve Bayes(LNB) 방법과 메일 발송 서버 주소를 이용하여 메일을 분류하는 SMTP 경로 분석 분류기의 통합을 제안한 방법[3]도 있는데, 이러한 독립적 분류기의 통합은 다양한 자질의 조합으로 분류기의 정확도를 향상시킬 수 있는 장점이 있다.
- 단일 분류기로 최고의 성능을 갖는 ONSVM[12]와 (1-ROCA)%를 가지고 비교하면, 단어만 자질로 이용한 결과보다는 제안 시스템의 성능이 근소하게 앞서고 있으며, 4-grams 자질을 이용한 것보다는 성능이 약간 뒤쳐진다고 할 수 있다. 그러나, 비교 시스템은 Spamassassin 데이터 6,034개의 문서를 이용하여 최적의 SVM 파라미터를 튜닝한 후, TREC05-p1 전체 데이터로 SVM모델을 학습하였으므로, 파라미터 튜닝 과정과 4-grams 자질의 복잡성을 고려할 때, 카이제곱 통계량과 어휘/품사 자질만 이용한 제안 시스템의 효율이 더 높다고 할수 있다. 마지막으로 현재까지 가장 좋은 성능을 보인 것으로 알려진 53-ENSEMBLE[20]은 53개의 스팸 필터를 결합한 시스템으로 단일 분류기인 제안 시스템과 직접적인 비교는 어렵다.
- 제안 시스템을 TREC05WINNERS[15]와 비교할 때, (1-ROCA)척도로 근소하게 낫다고 할 수 있으며, 비교 시스템이 TREC05-p1 전체 데이터를 이용하여 학습한 것을 감안하면 적은 양의 학습데이터를 가지고도 만족할 만한 결과를 얻었다고 볼 수 있다. 단일 분류기로 최고의 성능을 갖는 ONSVM[12]와 (1-ROCA)%를 가지고 비교하면, 단어만 자질로 이용한 결과보다는 제안 시스템의 성능이 근소하게 앞서고 있으며, 4-grams 자질을 이용한 것보다는 성능이 약간 뒤쳐진다고 할 수 있다. 그러나, 비교 시스템은 Spamassassin 데이터 6,034개의 문서를 이용하여 최적의 SVM 파라미터를 튜닝한 후, TREC05-p1 전체 데이터로 SVM모델을 학습하였으므로, 파라미터 튜닝 과정과 4-grams 자질의 복잡성을 고려할 때, 카이제곱 통계량과 어휘/품사 자질만 이용한 제안 시스템의 효율이 더 높다고 할수 있다.
- 9%의 정확도를 얻었다. 본 실험에서는 TREC05-p1 데이터의 약 1/15의 데이터만 이용하여 학습하였으나 전체 데이터를 이용한 다른 시스템들에 비교할 만한 성능을 얻었다. 대부분의 오류는 형태소 분석기의 오류에서 발생하였고, 멀티미디어 데이터를 포함한 이메일의 경우, MIME 데이터를 해석할 수 없어 MIME 데이터를 학습에서 제외하였으므로 스팸메일 분류에 어려움이 있다.
- 제안 시스템에서 사용한 학습데이터 개수(6,572개)와 비슷한 양의 학습데이터 개수(6,047개)를 사용한 공미경[10]의 시스템은 최대 엔트로피 모형으로 학습된 스팸성 자질 분류기와 URL 자질 분류기의 공동학습을 통해 결합하여 스팸메일을 판별하는 시스템이다. 선택된 어휘/품사 쌍 자질만 사용하는 제안 시스템의 성능이 스팸성 자질과 URL 자질을 이용하는 비교 시스템보다 월등한 것을 알 수 있다.
- 어휘/품사 쌍의 자질은 각 자질의 카이제곱 통계량을 이용하여 선택하였으며 자질을 선택하기 전보다 선택한 후에 시스템의 성능이 향상되었다. 선택된 자질의 가중치로는 이진 가중치가 TF와 TF-IDF 가중치를 사용하였을 때보다 더 나은 결과를 보였다. 실험에 사용된 이메일은 TREC05-p1 데이터에서 추출한 것을 사용하였으며, 실험 결과 TREC05-p1의 평가 데이터에 대해 98.
- 선택된 자질의 가중치로는 이진 가중치가 TF와 TF-IDF 가중치를 사용하였을 때보다 더 나은 결과를 보였다. 실험에 사용된 이메일은 TREC05-p1 데이터에서 추출한 것을 사용하였으며, 실험 결과 TREC05-p1의 평가 데이터에 대해 98.9%의 정확도를 얻었다. 본 실험에서는 TREC05-p1 데이터의 약 1/15의 데이터만 이용하여 학습하였으나 전체 데이터를 이용한 다른 시스템들에 비교할 만한 성능을 얻었다.
- 본 논문에서는 범람하는 스팸메일을 차단하기 위해, 어휘/품사 쌍의 자질을 이용하여 지지벡터 기계를 학습하여 자동으로 스팸메일을 걸러낼 수 있는 스팸메일 필터 시스템을 제안하였다. 어휘/품사 쌍의 자질은 각 자질의 카이제곱 통계량을 이용하여 선택하였으며 자질을 선택하기 전보다 선택한 후에 시스템의 성능이 향상되었다. 선택된 자질의 가중치로는 이진 가중치가 TF와 TF-IDF 가중치를 사용하였을 때보다 더 나은 결과를 보였다.
- <표 3>에서와 같이 스팸메일 분류에 SVM을 사용할 때에는 자질의 가중치를 TF나 TF-IDF보다 이진 가중치를 사용하였을 때 가장 좋은 결과를 보였다.
- 의 결과와 같이 전체 약 25만 6천여 개의 자질들 중 카이제곱 통계량을 이용하여 χ2 > 4.5의 약 4만 5천여 개의 자질을 선택하였을 때 가장 좋은 성능을 보였다.
- 필터 시스템의 성능평가와 관련해서는 정확률과 오류율을 손실 비율에 따라 다른 가중치를 적용하여 계산한다[4,15]. 정확률에서는 정상메일로 분류한 것에 가중치를 부여하고 오류율에서는 정상메일을 스팸메일로 분류한 경우에 가중치를 부여하여 정상메일이 스팸메일로 분류될 때의 오류를 스팸메일이 정상메일로 분류될 때의 오류보다 큰 오류로 보았다. 대표적인 평가방법은 TREC05부터 사용된 HM, SM, LM 방법[15]과 TREC07부터 사용되고 있는 1-ROCA 방법[15, 16]이 있다.
- 따라서 Hm이 Sm보다 낮은 값을 가지는 것이 바람직한 시스템이다. 제안 시스템은 Hm 이 Sm보다 큰 값을 가지는데 이는 향후 개선이 필요한 결과이며, 학습데이터 중 스팸메일의 데이터의 양이 정상메일보다 약 2.7배 더 많아서 발생한 것으로 보인다. Hm오류를 줄이기 위해 정상메일의 비율을 증가시키고 정상메일의 특성을 잘 반영할 수 있는 새로운 자질을 연구해야한다.
- <표 6>에 나타난 결과는 비교 시스템과 제안시스템은 학습 데이터와 테스트 데이터의 양이 달라 직접적인 비교는 어렵지만 제안 시스템의 성능을 파악하는데 참고가 된다. 제안 시스템을 TREC05WINNERS[15]와 비교할 때, (1-ROCA)척도로 근소하게 낫다고 할 수 있으며, 비교 시스템이 TREC05-p1 전체 데이터를 이용하여 학습한 것을 감안하면 적은 양의 학습데이터를 가지고도 만족할 만한 결과를 얻었다고 볼 수 있다. 단일 분류기로 최고의 성능을 갖는 ONSVM[12]와 (1-ROCA)%를 가지고 비교하면, 단어만 자질로 이용한 결과보다는 제안 시스템의 성능이 근소하게 앞서고 있으며, 4-grams 자질을 이용한 것보다는 성능이 약간 뒤쳐진다고 할 수 있다.
후속연구
- 7배 더 많아서 발생한 것으로 보인다. Hm오류를 줄이기 위해 정상메일의 비율을 증가시키고 정상메일의 특성을 잘 반영할 수 있는 새로운 자질을 연구해야한다. 대부분의 오류는 영어와 한국어 형태소 분석기의 오류에서 발생하는데 정형화되지 않은 입력에 대한 토큰 분리가 잘되지 않아 발생했고 데이터의 순도(purity)가 떨어지는 데서 발생했다.
- 어휘/품사 자질 이외의 URL 자질과 n-grams 자질 등을 추가하거나 좀 더 유용한 자질을 획득하는 방법에 대한 연구가 필요하며 SVM 학습에 최적의 파라미터 값을 찾기 위한 튜닝 과정도 필요하다. 또한 제안 시스템의 Hm 오류를 낮추기 위한 연구가 필요하다. 추후, 제안하는 방법을 스팸성 블로그를 분류하는데 이용하여 제안 방법을 검증할 필요가 있다.
- 대부분의 오류는 형태소 분석기의 오류에서 발생하였고, 멀티미디어 데이터를 포함한 이메일의 경우, MIME 데이터를 해석할 수 없어 MIME 데이터를 학습에서 제외하였으므로 스팸메일 분류에 어려움이 있다. 어휘/품사 자질 이외의 URL 자질과 n-grams 자질 등을 추가하거나 좀 더 유용한 자질을 획득하는 방법에 대한 연구가 필요하며 SVM 학습에 최적의 파라미터 값을 찾기 위한 튜닝 과정도 필요하다. 또한 제안 시스템의 Hm 오류를 낮추기 위한 연구가 필요하다.
- 추후, 제안하는 방법을 스팸성 블로그를 분류하는데 이용하여 제안 방법을 검증할 필요가 있다. 제안된 시스템과 인터넷 이메일 에이전트를 결합하여 실생활에 유용한 이메일 사용 환경을 제공할 수 있을 것이다.
- 또한 제안 시스템의 Hm 오류를 낮추기 위한 연구가 필요하다. 추후, 제안하는 방법을 스팸성 블로그를 분류하는데 이용하여 제안 방법을 검증할 필요가 있다. 제안된 시스템과 인터넷 이메일 에이전트를 결합하여 실생활에 유용한 이메일 사용 환경을 제공할 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.