초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문은 점점 증가되고 있는 SPAM 메일 문제를 해결하기 위한 방법으로써, 특정 속성에 기반을 둔 학습 알고리즘의 co-training을 통한 전자메일 분류 기법을 제안한다. 전자메일 분류는 결국 문서 분류 기술과 다르지 않다. 이미 많은 연구에서 학습 알고리즘을 이용한 문서 분류 기법은 많이 제안되고 검증되었다. 본 논문에서는 이러한 학습 알고리즘들을 co-training을 통하여 해당 메일이 SPAM인지 아닌지 구분하며, 학습의 효율성을 높이기 위하여 전자메일의 특정한 속성들, 예를 들면, 핵심문구나 기타 특정한 문구 및 전자메일의 헤더 정보 등을 학습 기반으로 이용하였다.

본 논문은 점점 증가되고 있는 SPAM 메일 문제를 해결하기 위한 방법으로써, 특정 속성에 기반을 둔 학습 알고리즘의 co-training을 통한 전자메일 분류 기법을 제안한다. 전자메일 분류는 결국 문서 분류 기술과 다르지 않다. 이미 많은 연구에서 학습 알고리즘을 이용한 문서 분류 기법은 많이 제안되고 검증되었다. 본 논문에서는 이러한 학습 알고리즘들을 co-training을 통하여 해당 메일이 SPAM인지 아닌지 구분하며, 학습의 효율성을 높이기 위하여 전자메일의 특정한 속성들, 예를 들면, 핵심문구나 기타 특정한 문구 및 전자메일의 헤더 정보 등을 학습 기반으로 이용하였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 실제로 e-mail 사용자가 일주일 정도에 받게 되는 SPAM 메일의 수는 적게는 수십부터 많게는 수백에 이르기도 한다, SPAM 메일의 가장 큰 부작용은 이러한 수에도 문제가 있으나 그 내용면에서도 많은 부작용을 가지고 있는 것 또한 사실이다. 이에 본 논문에서는 이러한 SPAM 메일을 분류하여 사용자를 이러한 SPAM 메일로부터 보호할 수 있는 방법을 제안한다.
• 이러한 속성으로는 크게 제목, 보내는 사람, 핵심문구, 기타 특정한 문구 ($$$와 같은 특수문자의 반복, free money, etc) 등이 있다. 특히, 해당 학습 알고리즘에 대한 co너raining을 홍하여 e-mail 분류의 宣율성을 높이고자 하였다[5].

제안 방법

• 그림 1은 co-traintng 알고리즘을 보여준다. 두 개의 classifier A와 B는 각각 동일한 문서에서 추蠡한 서로 다 픈 feature set울 이용하여 분류를 하게 되며(본 연구에서 는 각각 heade「와 body에서 추羞하였다), 각각의 뿐류 결과養 공유하여 다시 학습을 반복적으로 수행한다. 이러한 빵식믈 이용할 경우 동일한 문서에 대해 언저 뚠류 플 실시한 이assifier의 분류 결과가 다른 이assifier에 영 향울 미치게 되어, 차냐의 이assifier가 다론 classifier에 먆은 영향을 미치게 될 수도 있으나 이궛은 반복적인 학습을 홍차여 점점 줄어돌게 된다.
• 이중 25%는 학습의 결과률 평가하기 위한 test set으로, 나머지는 학습울 위한 training set으 로 분류하였다. 또한 몬 논문에서 제안한 흑정 속성을 이용한 학습 방식의 평가를 위하여 기존에 사용된 방식【1] 의 학습결과와 비교養 하였으며, 그 결과는 표애서 보여 준다. 본 연구에서 사용된 학습 알고리즘은 WEKA에 구현된 것을 이용하였다[11L
• 본 논문에서는 기본적으로 학습 알고리즘을 이용한 문서 분导기법을 e-mail의 분류에 적舀하였다. E-mail의 특성 상 일반 문서분류와는 다른 속성을 가지고 있기 때문에 학습에 이每되는 속성은 크게 e-mail의 header와 body 부분에서 추출한다.
• 본 논문에서는 학숩에 이용될 툭정 속성(featwe set)뮽 e-mail의 header^ body에서 각각 추출하였다. E-mail 은 여러 가지 특징을 가질 수 있으나 그 중 가장 대표적인 것이 제목과 琴정한 단어 옃 개 만으로도 분류가 된다는 것이다' 이것은 일반 e-mail 사용자가 단지 메시지의 제묵만 읽거나 혹은 문서 전체가 아닌 일부분만 보고도 메시지餐 삭제하거나 보판하는 것을 퍈단하는 것과 같다고 볼 수 있다[3L 예養 들어, 제목에 [광고] 혹은 [성인광 고] 묓 “ 공짜” , “ 대박” 과 같은 단어라던가 혹은 H $$$”, " !!!” 과 같이 흑수문자가 반복 사용된 문구가 있는 메시지 대부분이 SPAM으로 분류되는 경우가 많다.
• 여기서 주목할 점은, 어떤 학습 알고리즘을 이용할 것인지도 물론 중요하나, 그 학습을 하게 될 대상의 어떠한 속 성(feature set)을 학습하는가의 문제가 더욱 중요하다고 할 수 있다는 것이다[2][3][5]. 본 연구에서는 학습의 대상을 e-ma의 header와 body에서 추출을 하며, 특히 단 지 몇 개의 단어로도 쉽게 분류할 수 있는 e-mail의 특징을 이용하여 본문의 대표적인 주제어구를 추출하는 방식으로 학습 알고리즘의 학습 대상을 주출 하는 방식도 혼 용하였다[8][9][10].
• 뽄 논문에서는 제안된 방법을 평가하기 위하여 1800개 의 e-mail율 각각 300, 600, 900 개씩 그훕화 하였으며 각각의 그줍에 대하여 SPAM과 Not SPA니의 두 개 클래스로 구定하였다. 이중 25%는 학습의 결과률 평가하기 위한 test set으로, 나머지는 학습울 위한 training set으 로 분류하였다.

이론/모형

• 실제로 내용과 제목이 연관이 없는 SPAM 메일이 최근 상당히 많이 나타나고 있기 때문이다. 몬 논문에서는 주제어구를 추츌하기 위하여 Witten 과 F「ank 가 제안한 방법을 사용하였다 [8][9][10]. 이 방법은 수작업으로 문서의 학습 목적에 맞는 주제어구養 추출하고 이푤 토대로 학습을 진행하여, 학습기가 주어진 문서에서 학습된 내용을 바탕으로 주제 어구를 추査하는 방식이다.
• E-mail 분류에 대한 연구는 국내외적으로 이미 많이 이루어져 있다, 특히 대부분의 연구가 문서분류를 기반으로 이루어져 있으며 학습알고리즘을 이용한 연구 또한 상당 수 이루어져 있다. 본 논문에서는 이러한 학습 알고리즘 중에서 S나이Do「t Vector Machine 과 Naive Bayes 알고리즘을 이용하였다[6][기. 이러한 학습 알고리즘은 co- training을 홍하여 그 효율성을 더욱 높이게 된다[1][5]. 여기서 주목할 점은, 어떤 학습 알고리즘을 이용할 것인지도 물론 중요하나, 그 학습을 하게 될 대상의 어떠한 속 성(feature set)을 학습하는가의 문제가 더욱 중요하다고 할 수 있다는 것이다[2][3][5].
• 또한 몬 논문에서 제안한 흑정 속성을 이용한 학습 방식의 평가를 위하여 기존에 사용된 방식【1] 의 학습결과와 비교養 하였으며, 그 결과는 표애서 보여 준다. 본 연구에서 사용된 학습 알고리즘은 WEKA에 구현된 것을 이용하였다[11L

성능/효과

• 평가 결과는 어느 하나의 Classifi田의 일방적인 영향력이 없어지는 50회 반복 정도의 학습 결과까지만을 보여주고 있다. Z1 림에서 알 수 있듯이 일반 척으로 Naive Bayes 방식과 본 논문에서 제안한 주제어 구 및 특정 속성들 feature sei로 이용한 학습 결과가 가장 두드召진다. 그러나 이와 반애로 일반적인 문서 분畀 방식을 이基한 Co-training 결과에서는 오히려 Naive Bayes가 가장 좋지 않은 결과를 보여주고 있다.
• 본 논문에서는 e-mail의 특징에 해당하는 feature set과 co-training에 의한 학습 효율성을 높인 classifier를 이용한 결과가 e-mail 분류에 잘 적용될 수 있음을 보여주고 있다. co-training에 의한 학습 알고리즘의 효율성은 본 논문과 많은 연구에서 이미 증명되었다.
• 이러한 빵식믈 이용할 경우 동일한 문서에 대해 언저 뚠류 플 실시한 이assifier의 분류 결과가 다른 이assifier에 영 향울 미치게 되어, 차냐의 이assifier가 다론 classifier에 먆은 영향을 미치게 될 수도 있으나 이궛은 반복적인 학습을 홍차여 점점 줄어돌게 된다. 본 논문에서는 이러한 일방적인 영향력을 줄이는 시점을 대략 30-40번 정도의 반복 학습에서부터 나타나는 것으로 확인하였으며 대략 50번 정도의 반볶학습 시기에서는 이러한 일방적인 영항력이 먆이 감소되어 하나의 이assifier가 가지는 객관성이 비교적 만족할 만한 수준에 이르는 것으로 나타났다. 이러한 결과는 [1]에서 실시한 연구와 일치하는 것으로 나 타났다.

후속연구

• 또한 앞의 실험에서와 같이 학습 알고리즘 자체도 중요하지만 어떠한 데이터의 특징을 이용하여 학습을 시도하느냐 하는 문제가 오히려 실험 결과에 더 큰 영향을 줄 수 있다는 점 또한 아주 중요한 사실이다. 앞으로 co-training 과 feature set 추출에 관한 효율성 및 성능 평가가 더 이루어 진다면 학습 알고리즘의 적용 분야가 더욱더 확대될 수 있을 것으로 기대된다.
• co-training에 의한 학습 알고리즘의 효율성은 본 논문과 많은 연구에서 이미 증명되었다. 이는 기존의 학습 알고리즘을 이용한 많은 연구에 또 다른 가능성을 제시하고 있다고 보며, e-mail 분류만이 아닌 다른 자연어 처리 분야에 잘 적용될 수 있을 것으로 기대된다. 또한 앞의 실험에서와 같이 학습 알고리즘 자체도 중요하지만 어떠한 데이터의 특징을 이용하여 학습을 시도하느냐 하는 문제가 오히려 실험 결과에 더 큰 영향을 줄 수 있다는 점 또한 아주 중요한 사실이다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기