[논문]송.수신 이메일의 학습을 통해 긍정 오류를 줄이는 개선된 베이지안 필터링 기법

김두환; 유종덕; 정수환

doi:10.13089/jkiisc.2008.18.2.129

송.수신 이메일의 학습을 통해 긍정 오류를 줄이는 개선된 베이지안 필터링 기법
Improved Bayesian Filtering mechanism to reduce the false positives by training both Sending and Receiving e-mails 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.18 no.2, 2008년, pp.129 - 137

김두환 (숭실대학교 정보통신전자) , 유종덕 (숭실대학교 정보통신전자) , 정수환 (숭실대학교 정보통신전자공학부)

초록
AI-Helper

본 논문에서는 기존의 베이지안 필터링 방식에서 발생하는 긍정 오류를 줄이기 위한 개선된 베이지안 필터링 기법을 제안한다. 기존의 베이지안 필터링 방식에서는 이메일 서버에서 학습한 DB를 일괄적으로 개별 사용자들에게 적용한다. 또한 수신 이메일 위주의 학습 방식은 양질의 정상 DB를 학습하는데 어려움을 준다. 이러한 문제로 인해 기존의 베이지안 필터링 기법에서는 정상 이메일을 스팸 이메일로 판단하는 긍정 오류가 발생한다. 제안 기법에서는 사용자의 송신 이메일을 양질의 정상 DB 정보로 판단하여 베이지안 정상 DB에 자동으로 학습한다. 뿐만 아니라 개별 사용자에게 독립적인 베이지안 DB를 제공하여 사용자 개개인의 이메일 송 수신 특성을 고려한 필터링 서비스를 제공한다. 제안 기법은 기존의 베이지안 필터링 기법보다 필터링의 정확성에서 평균 3.13% 향상된 결과를 보인다.

Abstract ▼ AI-Helper

In this paper, we propose an improved Bayesian Filtering mechanism to reduce the False Positives that occurs in the existing Bayesian Filtering mechanism. In the existing Bayesian Filtering mechanism, the same Bayesian Filtering DB trained at the e-mail server is applied to each e-mail user. Also, the training method using receiving e-mails only could not provide the high quality of ham DB. Due to these problems, the existing Bayesian Filtering mechanism can produce the False Positives which misclassify the ham e-mails into the spam e-mails. In the proposed mechanism, the sending e-mails of the user are treated as the high quality of ham information, and are trained to the Bayesian ham DB automatically. In addition, by providing a different Bayesian DB to each e-mail user respectively, more efficient e-mail filtering service is possible. Our experiments show the improvement of filtering accuracy by 3.13%, compared to the existing Bayesian Filtering mechanism.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

수신 패턴을 고려한 필터 링이 가능하도록 한다. 따라서 제안하는 기법을 이메일 서버에 적용하여 사용할 경우 기존의 베이지안 필터에서 발생할 수 있는 긍정 오류 문제를 개선하고 각 이메일 사용자에 따른 독립적인 DB 구축을 통해 사용자에게 종속적인 이메일 필터링이 가능하도록 한다.
본 논문에서는 대량의 이메일을 정상과 스팸으로 자동으로 분류하고 각각 분류된 이메일을 이메일 서버로 대량으로 자동 전송할 수 있는 모듈을 개발하여 사용자에게 편의성을 제공하고 베이지안 DB의 학습과 필터링 성능 테스트를 보다 효율적으로 하였다.
본 논문에서는 사용자의 이메일 송, 수신 패턴을 고려한 베이지안 필터링 기법을 제안 하였다. 기존의 베이지안 필터링 기법에서는 서버에서 수신한 이메일을 기반으로 베이지안 DB를 구축하므로 사용자 개개인이 관심을 갖는 특정 분야나 사용자 개개인의 이메일 송.
본 논문에서는 이메일 필터링 시 발생하는 긍정 오류의 발생비율을 줄이고, 사용자 개개인의 이메일 송.수신패턴을 고려하는 베이지안 필터링 기법을 제안 한다.

제안 방법

기존의 베이지안 필터링 기법과 제안 기법의 성능 비교를 위해 [그림 3]과 같은 이메일 테스트환경을 구축하였다. 데스크탑 PC에는 이메일 분류기와 이메일 대량전송 모듈을 탑재하여 테스트에 사용되어지는 샘플 이메일을 대량으로 전송한다.
논문에서 제안하는 베이지안 필터링 기법은 송신 이메일을 베이지안 필터링 DB에 자동으로 학습함으로써 정상 DB의 양을 늘려주어 베이지안 DB의 학습 균형을 가져다준다. 또한 각 사용자 계정별로 독립적인 필터링 DB를 구축함으로써 각각의 이메일 사용자에 대해서 이메일 송.
또한 각 사용자 계정별로 독립적인 필터링 DB를 구축함으로써 각각의 이메일 사용자에 대해서 이메일 송.수신 패턴을 고려한 필터 링이 가능하도록 한다.
7이며, 기준값을 통해 판단된 스팸과 정상 이메일의 개수를 조사한다. 또한 스팸으로 오판된 정상 이메일의 개수와 정상으로 오판된 스팸 이메일의 개수를 파악하여 정확도와 재현율을 구하기 위해 사용한다.
본 장에서는 기존의 베이지안 필터링 기법과 제안 기법의 성능을 비교 및 분석한다. 제안 기법의 성능 비교를 위해 이메일 테스트 환경을 구축하고 빠른 성능평가를 위한 이메일 분류기, 이메일 대량 전송 모듈 등을 개발하였다.
송.수신패턴을 고려하는 베이지안 필터링 기법을 제안 한다. 제안하는 기법은 각 사용자에 대한 베이지안 DB를 독립적으로 구축하고, 사용자의 수신 메일뿐만 아니라 송신 메일에 대해서도 자동으로 베이지안 DB에 학습하도록 한다.
수신특성 등을 고려하지 못한다. 제안 기법에서는 사용자의 송신 이메일을 양질의 정상 DB로 학습하여 이메일 시스템의 가장 중요한 성능 지표인 긍정 오류의 발생비율을 효과적으로 개선한다. 또한 개별 사용자마다 독립적인 필터링 DB를 구축하여 각 사용자의 스팸 이메일과 정상이 메일에 대한 판단 기준을 고려한 필터링을 가능하게 한다.
성능을 비교 및 분석한다. 제안 기법의 성능 비교를 위해 이메일 테스트 환경을 구축하고 빠른 성능평가를 위한 이메일 분류기, 이메일 대량 전송 모듈 등을 개발하였다. 제안 기법의 성능 평가를 위해 이메일의 사용자군을 학생과 회사, 그리고 일반 가정주부로 나누었으며 제안 기법이 각 사용자 군에 따라 얼마만큼의 성능 개선 효과가 있는지를 평가한다.
제안 기법의 성능 비교를 위해 이메일 테스트 환경을 구축하고 빠른 성능평가를 위한 이메일 분류기, 이메일 대량 전송 모듈 등을 개발하였다. 제안 기법의 성능 평가를 위해 이메일의 사용자군을 학생과 회사, 그리고 일반 가정주부로 나누었으며 제안 기법이 각 사용자 군에 따라 얼마만큼의 성능 개선 효과가 있는지를 평가한다. 성능 평가의 기준이 되는 파라미터는 이메일 필터링의 정확성과 오판 정도를 나타내는 정확도(Precision)와 재현율(Recall)을 사용한다[9].
수를 나타낸다. 제안 기법의 성능을 분석하는데 있어 객관성을 유지하기 위해 사용자 군을 학생과 기업, 그리고 일반 가정주부로 분류하여 테스트 하였으며, 각 사용자 군은 개별적으로 학습된 DB를 가진다. [표 1]에서 사용된 이메일은 본 논문의 421절 에서 소개한 이메일 분류기를 통해 분류된 이메일이다.
수신패턴을 고려하는 베이지안 필터링 기법을 제안 한다. 제안하는 기법은 각 사용자에 대한 베이지안 DB를 독립적으로 구축하고, 사용자의 수신 메일뿐만 아니라 송신 메일에 대해서도 자동으로 베이지안 DB에 학습하도록 한다. 이렇게 학습된 DB는 이메일 필터링 시 개별 사용자에 대한 이메일 필터링 기준을 명확히 해 줌으로써 긍정 오류의 발생비율을 줄일 수 있다.

대상 데이터

데스크탑 PC에는 이메일 분류기와 이메일 대량전송 모듈을 탑재하여 테스트에 사용되어지는 샘플 이메일을 대량으로 전송한다. 테스트에 사용된 데스크탑 PC는 3.41GHz, 2GB RAM의 시스템이며, 이메일 서버는 2.5GHz, 1.4GB RAM의 시스템이다. 사용자 별로 PBL DB를 각각 구성하며 사용자의 송신 이메일과 수신 이메일은 자동으로 DB에 학습된다.

성능/효과

비교 결과이다. [표 2]에서 살펴볼 수 있듯이 제안 기법은 기존의 베이지안 필터링 기법과 가중치 기반의 베이지안 필터링 기법보다 정확도 측면에서 높은 필터링 성능을 가진다. 일반 학생의 경우, 정확도는 기존의 베이지안 기법보다 2.
13% 향상된 필터링 정확성을 제공한다. [표 2]의 성능 비교에서 살펴볼 수 있듯이 제안 기법은 이메일 필터링 시 발생하는 긍정 오류의 발생비율을 줄여주며, 이메일 스팸의 필터링 성능에서 가장 중요시되는 정확도 (Precision)에서 향상된 성능을 보여준다. 사용자 1의 일반 학생 군의 경우, 긍정 오류가 발생한 정상 이메일은 주로 국내외 학회에서 송신한 워크숍과 관련된 안내 이메일이나 국제 표준 단체에서 송신한 메일링 리스트와 같이 학문적 성격을 가지는 이메일이다.
96%의 향상된 결과를 보인다. 따라서 제안 기법은 기존의 베이지안 필터링 기법보다 평균 3.13% 향상된 필터링 정확성을 제공한다. [표 2]의 성능 비교에서 살펴볼 수 있듯이 제안 기법은 이메일 필터링 시 발생하는 긍정 오류의 발생비율을 줄여주며, 이메일 스팸의 필터링 성능에서 가장 중요시되는 정확도 (Precision)에서 향상된 성능을 보여준다.
13 %의 향상된 필터링 정확성을 제공한다. 따라서 제안기법은 이메일 필터링 시스템의 가장 중요한 성능평가 파라미터인 긍정 오류의 발생 비율에서 기존의 베이지안 필터링 기법과 이를 개선하기 위한 다른 기법 보다 향상된 성능을 보인다.
위한 방법에 관심을 가지고 있다. 본 논문에서 제안하는 기법은 소량의 베이지안 DB 확장으로 긍정 오류의 문제를 효과적으로 개선하기 때문에 실제 이메일 필터링 시스템에 적용될 경우, 개선된 필터링 성능을 보일 수 있다.
또한 개별 사용자마다 독립적인 필터링 DB를 구축하여 각 사용자의 스팸 이메일과 정상이 메일에 대한 판단 기준을 고려한 필터링을 가능하게 한다. 본 논문에서는 제안 기법의 실험적 검증을 통해서 일반 학생, 회사원, 가정주부 등의 사용자 군에게 평균 3.13 %의 향상된 필터링 정확성을 제공한다. 따라서 제안기법은 이메일 필터링 시스템의 가장 중요한 성능평가 파라미터인 긍정 오류의 발생 비율에서 기존의 베이지안 필터링 기법과 이를 개선하기 위한 다른 기법 보다 향상된 성능을 보인다.
[표 2]에서 살펴볼 수 있듯이 제안 기법은 기존의 베이지안 필터링 기법과 가중치 기반의 베이지안 필터링 기법보다 정확도 측면에서 높은 필터링 성능을 가진다. 일반 학생의 경우, 정확도는 기존의 베이지안 기법보다 2.76 % 향상된 성능을 보이며 가중치 기반의 베이지안 기법보다 3.82 % 향상된 성능을 보인다. 회사원의 경우, 정확도는 기존의 베이지안 기법보다 3.
제안 기법은 기존의 베이지안 필터링 기법보다 DB 의 증가 측면에서 사용자 군에 따라 평균적으로 1.2 MB 정도의 메모리 용량이 증가하는 단점이 있다. 하지만 본 논문의 3」절의 (3)에서 제시한 이메일 서버의 용량을 통해 개인 사용자에게 약 20 MB의 메모리 용량을 할당 할 경우, 제안 기법에서 추가로 부담해야하는 메모리 부하는 전체 사용자 DB 용량의 약 6 % 정도이므로 충분히 고려할만 하다.
2 MB 정도의 메모리 용량이 증가하는 단점이 있다. 하지만 본 논문의 3」절의 (3)에서 제시한 이메일 서버의 용량을 통해 개인 사용자에게 약 20 MB의 메모리 용량을 할당 할 경우, 제안 기법에서 추가로 부담해야하는 메모리 부하는 전체 사용자 DB 용량의 약 6 % 정도이므로 충분히 고려할만 하다.
82 % 향상된 성능을 보인다. 회사원의 경우, 정확도는 기존의 베이지안 기법보다 3.57 % 향상된 성능을 보이며 가중치 기반의 베이지안 기법보다 2.38 % 향상된 성능을 보인다. 가정주부의 경우, 기존의 베이지안 기법과 가중치 기반의 베이지안 기법보다 각각 4.

참고문헌 (9)

Roger Wattenhofer, Gordon V. Cormack, and Christof Fetzer, "Mastering Spam A Multifaceted Approach with the Spamato Sapm Filter System," Swiss Ferderal Institute of Technology Zurich, 2006
Barracuda Networks. "An Overview of Spam Blocking Techniques," http://www.innovativeidea.com. 2006
Ricardo Silva, Richard Scheines, "Bayesian Learning of Measurement and Structural Models," Proceedings fo the 23th International Conference on Machine Learning, Pittsburgh, PA, 2006
Y. Li, B. Fang, L. Guo, and S. Wang, "Research of a Novel Anti-Spam Technique Based on User's Feedback and Improved Naive Bayesian Approach," Proc. ICNS'06, 2006
조한철, 조근식, "나이브 베이지안 분류자와 메세 지 규칙을 이용한 스팸메일 필터링 시스템" 한국 정보과학회 봄 학술발표논문집, 2002년
김현준, 정재은, 조근식, "가중치가 부여된 베이 지안 분류자를 이용한 스팸 메일 필터링 시스템 설계" 정보과학회논문지, 소프트웨어 및 응용 제 31 권 제8호, 8윌 2004년
E. Michelakis, I. Androutsopoulos, G. Paliouras, G. Sakkis, and P. Stamatopoulos, "Filtron: A Learning-Based Anti-Spam Filter," Proc. CEAS 2004, 2004
Y. Cheng and C.H. Li, "Personalized Spam Filtering with Semi-supervised Classifier Ensemble," Proc. WIC/ACM, 2006
Androutsopoulos, I., Koutsias, J, Chandrinos, K.V., Paliouras, G. and Spyropoulos, C. D., "An Evaluation of Naive Bayesian Anti-Spam Filtering," Proc of the 11th European Conference on Machine Learning, pp.9-17, 2000

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

송.수신 이메일의 학습을 통해 긍정 오류를 줄이는 개선된 베이지안 필터링 기법
Improved Bayesian Filtering mechanism to reduce the false positives by training both Sending and Receiving e-mails 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

참고문헌 (9)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

송.수신 이메일의 학습을 통해 긍정 오류를 줄이는 개선된 베이지안 필터링 기법 Improved Bayesian Filtering mechanism to reduce the false positives by training both Sending and Receiving e-mails 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

참고문헌 (9)

이 논문을 인용한 문헌

저자의 다른 논문 :

김두환 (7) 유종덕 (1) 정수환 (96)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

송.수신 이메일의 학습을 통해 긍정 오류를 줄이는 개선된 베이지안 필터링 기법
Improved Bayesian Filtering mechanism to reduce the false positives by training both Sending and Receiving e-mails 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper