[논문]스팸 문자 필터링을 위한 변형된 한글 SMS 문장의 정규화 기법

강승식

doi:10.3745/ktsde.2014.3.7.271

초록
AI-Helper

휴대폰에서 문자 메시지 전송 기능은 현대인들에게 매우 편리한 새로운 형태의 의사소통 방식이다. 반면에 문자 메시지 기능을 악용한 광고성 문자들이 너무 많이 쏟아져서 휴대폰 사용자들은 스팸 문자 공해에 시달리는 심각한 부작용을 낳게 되었다. 광고성 문자를 발송하는 사람들은 문자 메시지가 자동으로 차단되는 것을 회피하기 위해 한글 문장을 다양한 형태로 변형하거나 왜곡시키고 있으며, 이러한 문자 메시지를 자동으로 차단하기 위해서는 변형되거나 왜곡된 문장들을 정상적인 한글 문장으로 정규화하는 기술이 필수적이다. 본 논문에서는 변형되거나 왜곡된 광고성 문자 메시지를 정상적인 문장으로 정규화하고 정규화된 문장으로부터 자동 띄어쓰기 및 복합명사 분해 과정을 거쳐 키워드를 추출하기 위한 방법을 제안하였다.

Abstract ▼ AI-Helper

Short message service(SMS) in a mobile communication environment is a very convenient method. However, it caused a serious side effect of generating spam messages for advertisement. Those who send spam messages distort or deform SMS sentences to avoid the messages being filtered by automatic filteri...

Short message service(SMS) in a mobile communication environment is a very convenient method. However, it caused a serious side effect of generating spam messages for advertisement. Those who send spam messages distort or deform SMS sentences to avoid the messages being filtered by automatic filtering system. In order to increase the performance of spam filtering system, we need to recover the distorted sentences into normal sentences. This paper proposes a method of normalizing the various types of distorted sentence and extracting keywords through automatic word spacing and compound noun decomposition.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 문자 메시지를 자동으로 차단하려면 변형되거나 왜곡된 문장들을 정상적인 한글 문장으로 정규화해야 한다. 본 논문에서는 광고성 문자를 자동으로 인식하여 차단하기 위해 변형된 문자열을 정상적인 문자열로 정규화하는 방법을 제안하였다. 변형되거나 왜곡된 광고성 문자 메시지를 정상적인 한글 문장으로 변환하여 정규화하고 정규화된 문장으로부터 자동 띄어쓰기 및 복합명사 분해 과정을 거쳐 키워드를 추출하였으며, 이 방법을 적용하여 변형된 문자열을 정규화함으로써 스팸 문자 차단 효과를 17.
SMS 문자 메시지는 초성, 중성, 종성을 모두 분리하는 경우도 있지만 ‘코ㄹ’과 같이 종성만 분리하거나 또는 복합모음 ‘ㅘ’를 ‘오ㅏ’로 분해하는 언어 파괴 현상들이 발견되며 ‘왕’의 경우에 ‘와ㅇ’ 또는 ‘오ㅏㅇ’으로 변형시키기도 한다. 본 논문에서는 다양한 형태의 문구 변형 및 한글을 왜곡한 유형들에 대하여 정상적인 한글 문장으로 복원을 한다. 문구가 보정되면 불필요한 기호들을 제거한 후에 자동 띄어쓰기, 복합명사 분해 과정을 거쳐 최종으로 키워드를 추출한다.
본 연구는 휴대폰에서 대량으로 발송되는 광고성 스팸 문자를 차단하기 위하여 문자 메시지의 내용을 분석함으로써 왜곡되거나 변형된 한글 문장을 정상적인 문장으로 복원하는 시스템을 설계하고 구현하는 방법에 관한 것이다. 이 연구에서 변형된 한글 문장을 복원하기 위하여 한글 자모와 유사한 문자를 한글로 변환하거나, 한글 자모로 구성된 문자열을 음절로 결합하는 방법을 적용한다.
본 연구에서 한국어 문장 복원 시스템은 단순히 문자열 일치 방식에 의해 “대리운전”이 포함된 문자 메시지가 스팸 문자로 차단되는 것을 피하기 위해 “㉢ㅐㄹI우ㄴㅈㅓㄴ”과 같이 다양한 형태로 단어를 변형하더라도 ‘대리운전’으로 문장을 복원해 줌으로써 매우 다양한 형태로 변형된 문자열들을 모두 차단 문구로 등록하지 않더라도 해당 문자열이 포함된 문자메시지가 스팸 문자로 차단될 수 있도록 하기 위한 것이다.
SMS 문장을 살펴보면 한글 문장이 음절뿐만 아니라, 자음, 모음, 영문자, 숫자, 특수기호가 포함된 다양한 유형의 문자들로 구성되는 것을 알 수 있다. 자음과 모음이 분리되고 유사한 문자로 대치되어 있는 변형된 문장을 정규화하기 위하여 각 문자들에 대해 유형을 구분하는 태그를 정의하는데 정의된 태그 유형들은 문자 변환 및 음절 구성의 편의성을 목적으로 정의된다.

제안 방법

구조체 SMS_CHAR는 각 문자에 대해 입력 문자와 보정된 문자를 16비트 정수형으로 저장하여 입력 문자와 보정된 문자를 1:1로 매핑이 되도록 한다. 또한, 입력 문자 및 보정된 문자의 유형을 각각 tag1, tag2에 표시함으로써 핵심어를 추출하는데 활용하고자 한다.
변형된 SMS 문자열의 정규화 효용성을 실험하기 위하여 휴대전화를 통해 전송되는 문자 메시지에서 스팸 문자로 차단되는 문자 유형을 분석하였다. SMS 문자의 스팸 문자를 차단 방법은 크게 등록된 발신 번호와 회신 번호를 차단하는 ‘번호 차단’ 기법과 등록된 문구를 차단하는 ‘문구 차단’ 방식으로 구분된다.
본 연구는 휴대폰에서 대량으로 발송되는 광고성 스팸 문자를 차단하기 위하여 문자 메시지의 내용을 분석함으로써 왜곡되거나 변형된 한글 문장을 정상적인 문장으로 복원하는 시스템을 설계하고 구현하는 방법에 관한 것이다. 이 연구에서 변형된 한글 문장을 복원하기 위하여 한글 자모와 유사한 문자를 한글로 변환하거나, 한글 자모로 구성된 문자열을 음절로 결합하는 방법을 적용한다.

대상 데이터

실험 대상 문자는 61,934,003개이고 그 중에서 937,683개가 스팸 문자로 분류되었다. 스팸으로 분류된 문자들을 ‘번호 차단’ 방식과 ‘문구 차단’ 방식, 그리고 ‘공통 차단’과 ‘개인 차단’으로 분류하면 표 1과 같다.

이론/모형

스팸 메일을 차단하는 연구는 이미 심도있게 진행되어 왔고 자동으로 스팸 메일을 차단 시스템이 개발되어 메일 서버는 스팸 메일로 분류된 메일들을 별도로 관리를 하고 있다[4,5,6]. 스팸 메일과 정상적인 메일을 구분하는 방법으로는 문서 분류 기법을 이용한다. 스팸 메일 인식 시스템은 모든 이메일들을 두 개의 범주로 구분하는 문제이기 때문이다.

성능/효과

본 논문에서는 광고성 문자를 자동으로 인식하여 차단하기 위해 변형된 문자열을 정상적인 문자열로 정규화하는 방법을 제안하였다. 변형되거나 왜곡된 광고성 문자 메시지를 정상적인 한글 문장으로 변환하여 정규화하고 정규화된 문장으로부터 자동 띄어쓰기 및 복합명사 분해 과정을 거쳐 키워드를 추출하였으며, 이 방법을 적용하여 변형된 문자열을 정규화함으로써 스팸 문자 차단 효과를 17.1% 향상시키는 효과가 있었다.
6%이다. 이는 SMS 문자열 정규화를 하지 않았을 때 차단되는 스팸 문자 개수가 800,442개인데 비해 문자열 정규화를 통해 937,683개로 증가하여 스팸 문자 차단 효과가 17.1% 향상되는 효과가 있었다.
스팸으로 분류된 문자들을 ‘번호 차단’ 방식과 ‘문구 차단’ 방식, 그리고 ‘공통 차단’과 ‘개인 차단’으로 분류하면 표 1과 같다. 일반 문구에서 차단되지 못한 스팸 문자 중에서 본 논문에서 제안한 SMS 문장의 정규화 기법을 적용함으로써 스팸으로 차단된 것은 137,221개로 전체 스팸 문자의 14.6%이다. 이는 SMS 문자열 정규화를 하지 않았을 때 차단되는 스팸 문자 개수가 800,442개인데 비해 문자열 정규화를 통해 937,683개로 증가하여 스팸 문자 차단 효과가 17.

질의응답

핵심어	질문	논문에서 추출한 답변
	스팸 메일과 정상적인 메일을 구분하는 방법으로 이용하는 것은?	스팸 메일을 차단하는 연구는 이미 심도있게 진행되어 왔고 자동으로 스팸 메일을 차단 시스템이 개발되어 메일 서버는 스팸 메일로 분류된 메일들을 별도로 관리를 하고 있다[4,5,6]. 스팸 메일과 정상적인 메일을 구분하는 방법으로는 문서 분류 기법을 이용한다. 스팸 메일 인식 시스템은 모든 이메일들을 두 개의 범주로 구분하는 문제이기 때문이다.
	스팸 문자인지를 자동으로 판단하는 것이 스팸 메일 분류 시스템 보다 어려운 이유는?	이는 문자 메시지의 특성상 통상적으로 80바이트(한글 40 음절) 이내의 짧은 문장으로 구성되기 때문이다. 또한, 광고성 스팸 문자를 작성하는 사람들은 스팸으로 자동 차단 되는 것을 피하기 위해 불필요한 기호들을 추가하거나 문자를 변형, 왜곡시키는 기법을 사용한다. 따라서 스팸 문자인지를 자동으로 판단하는 것은 스팸 메일 분류 시스템보다 어려운 문제이다.
	스팸 메일을 인식하는 기법으로 이용되는 것은?	스팸 메일 인식 시스템은 모든 이메일들을 두 개의 범주로 구분하는 문제이기 때문이다. 따라서 스팸 메일을 인식하는 기법으로는 SVM, Naive Bayse, 최대 엔트로피 등 일반적인 기계 학습 이론을 이용하고 있다[7,8,9].

참고문헌 (11)

B. Y. Kim, A Study on the Morphological Characteristics of Communicative Languages by the Statistical Frequency, Master Thesis, Kookmin University, 2002.
S. J. Lee and D. J. Choi, "Personalized mobile junk message filtering system," Journal of the Korea Contents Association, pp.122-135, 2011.

원문보기 상세보기
S. S. Kang, "Junk-mail filtering by mail address validation and title-content weighting," Journal of the Korea Multimedia Society, Vol.9, No.2, pp.255-263, 2006.
K. Tretyakov, "Machine learning techniques in spam filtering," Data Mining Problem-oriented Seminar, MTAT. 03. 177, pp.60-79, 2004.
L. Zhang, J. Zhu, and T. Yao, "An evaluation of statistical spam filtering techniques," ACM Transactions on Asian Language Information Processing(TALIP), Vol.3, No.4, pp.243-269, 2004.

상세보기
C. Brutlag and J. Meek, "Challenges of the email domain for text classification," Proceedings of the 17th International Conference on Machine Learning, 2000.
M. Sahami, S. Dumais, D. Heckerman, and E. Horvitz, "A Bayesian approach to filtering junk E-mail," Proceedings of the AAAI Workshop, pp.55-62, 1998.
M. Salib, "MeatSlicer: Spam classification with Naive Bayes and smart heuristics," Proceedings of the Spam Conference, MA, Jan., 2003.
K. Schneider, "A comparison of event models for Naive Bayes anti-spam E-mail filtering," Proceedings of 10th Conference of the European Chapter of the Association for Computational Linguistics(EACL 2003), pp.307-314, 2003.
S. S. Kang and K. B. Hwang, "A language independent n-gram model for word segmentation," Proceedings of AI'2006, pp.557-565, 2006.
S. S. Kang, "A decomposition algorithm of Korean compound nouns," Journal of KIISE(B), Vol.25, No.1, pp.172-182, 1998.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 스팸 문자 필터링을 위한 변형된 한글 SMS 문장의 정규화 기법
A Normalization Method of Distorted Korean SMS Sentences for Spam Message Filtering 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

참고문헌 (11)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 스팸 문자 필터링을 위한 변형된 한글 SMS 문장의 정규화 기법 A Normalization Method of Distorted Korean SMS Sentences for Spam Message Filtering 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

참고문헌 (11)

이 논문을 인용한 문헌

저자의 다른 논문 :

강승식 (27)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 스팸 문자 필터링을 위한 변형된 한글 SMS 문장의 정규화 기법
A Normalization Method of Distorted Korean SMS Sentences for Spam Message Filtering 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper