[논문]온라인게임 채팅에서의 비속어 차단시스템

이성욱

doi:10.6109/jkiice.2011.15.7.1531

온라인게임 채팅에서의 비속어 차단시스템
A Swearword Filter System for Online Game Chatting 원문보기

한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences, v.15 no.7, 2011년, pp.1531 - 1536

이성욱 (충주대학교)

초록
AI-Helper

온라인 게임의 활성화로 온라인 게임의 폐해도 증가하고 있는데 온라인 게임의 대표적인 폐해 중 하나인 언어 폭력 문제가 심각한 사회문제를 야기하고 있다. 본 논문은 온라인 게임의 채팅에 나타나는 비속어를 자동으로 차단하는 시스템을 제안한다. 우리는 온라인 게임의 채팅창에 나타나는 문장을 수집하였고 비속어 포함 문장과 정상 문장으로 수동으로 분류하였다. 음절 n-gram과 어휘-품사 쌍을 자질로 사용하며 카이제곱 통계량을 이용하여 자질을 선택한다. 선택된 자질들을 이진가중치로 표현하여 지지벡터기계(SVM)를 학습한 후, SVM 분류기로 각 문장의 차단 여부를 결정하였다. 실험 결과, 수집된 데이터에 대해 약 90.4%의 F1 정확률을 얻었다.

Abstract ▼ AI-Helper

We propose an automatic swearword filter system for online game chatting by using Support Vector Machines(SVM). We collected chatting sentences from online games and tagged them as normal sentences or swearword included sentences. We use n-gram syllables and lexical-part of speech (POS) tags of a word as features and select useful features by chi square statistics. Each selected feature is represented as binary weight and used in training SVM. SVM classifies each chatting sentence as swearword included one or not. In experiment, we acquired overall 90.4% of F1 accuracy.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 온라인 게임상의 언어폭력을 막기 위해 채팅 문장의 비속어 유무를 판별하는 시스템을 제안하였다. N-gram 자질과 어휘/품사 자질을 이용하여 SVM을 학습하여 자동으로 비속어 문장을 차단하는 시스템을 제안하였다.
본 연구의 목적은 온라인 게임 채팅에 발생하는 비속어 문장을 자동으로 차단하는 것이다. 비속어 차단 문제는 내용이 비교적 짧다는 점을 제외하면 스팸 메일 판별 문제와 매우 유사한 문제이다.

제안 방법

N-gram 자질과 어휘/품사 자질을 이용하여 SVM을 학습하여 자동으로 비속어 문장을 차단하는 시스템을 제안하였다. 각 자질의 카이제곱 통계량을 이용하여 좋은 자질을 선택함으로써 시스템의 성능을 향상 시켰다.
본 연구에서는 카이제곱 통계량을 이용하여 자질을 선 택한 후, 이를 지지 벡터 기계 학습에 사용하는 방법 [4, 14, 15]을 비속어 차단 시스템에 이용하는 것을 제안한다. 비속어 차단 시스템은 채팅에 사용된 문장을 자동으로 비속어 포함 문장과 정상 문장으로 분류하는 이진 분류 시스템이다.
총 10, 520개의 채팅 문장1)이 수집되었는데 그 중 비속어가 포함된 문장은 585개였다. 비속어 문장의 비율과 정상 문장의 비율이 차이가 크므로 공정한 실험을 위해 정상 문장과 비속어 문장의 비율을 똑같이 맞추어 주기 위해 비속어 문장의 개수만큼 정상 문장을 무작위 추출하였다. 따라서 실험에는 586개의 정상 문장과 585개의 비속어 문장을 사용하였으며, 5:1의 확률로 무작위 추출하여 251개를 평가 데이터로 사용하고 나머지를 학습 데이터로 사용하였다'
실험 대상인 채팅 문장은 비교적 짧기 때문에 자질의 빈도수를 이용한 TF-IDF 가중치 등을 사용하지 않고 이진 가중치를 각 자질의 가중치로 사용하였다.

대상 데이터

본 연구에서 사용된 데이터는 온라인 게임의 채팅창에서 직접 수집하였고, 수동으로 정상문장과 비속어 포함 문장으로 태깅하여 실험에 이용하였다, 다음 그림 2 는 정상인 입력문장 “뭐라해야될까요.?”과 비속어를 포함한 문장 ''내말다씹 으셔”의 각 단계별 처리예를 나타낸다.
따라서 형태소 분석 결과물인 어휘/품사 쌍만을 자질로 사용하기에는 자질의 개수가충분하지 않아 기계학습의 성능이 떨어지게 된다. 그래서 우리는 다중 언어의 자질 추출 등에 사용되는 n-gram 자질[12]을 추가로 사용하였는데, 1-gram, 2-gram, 3-gram까지 사용하였다. n-gram 자질은 문자 길이 "n"을 윈도우 사이즈로 사용하여 인접 한 문자열을 추출한 것이며, 예를 들어 "개무시”라는 단어의 음절 2-gram 은"개무, 무시”가된다.
비속어 문장의 비율과 정상 문장의 비율이 차이가 크므로 공정한 실험을 위해 정상 문장과 비속어 문장의 비율을 똑같이 맞추어 주기 위해 비속어 문장의 개수만큼 정상 문장을 무작위 추출하였다. 따라서 실험에는 586개의 정상 문장과 585개의 비속어 문장을 사용하였으며, 5:1의 확률로 무작위 추출하여 251개를 평가 데이터로 사용하고 나머지를 학습 데이터로 사용하였다';
실험에는“던전앤파이터”, “ 리니지”, “마구마구”, “서든어택, , , “아이온, , , “카오스” 등의 온라인 게임에서 자체적으로 수집한 채팅 데이터를 사용하였다. 총 10, 520개의 채팅 문장1)이 수집되었는데 그 중 비속어가 포함된 문장은 585개였다.
수집한 채팅 데이터를 사용하였다. 총 10, 520개의 채팅 문장1)이 수집되었는데 그 중 비속어가 포함된 문장은 585개였다. 비속어 문장의 비율과 정상 문장의 비율이 차이가 크므로 공정한 실험을 위해 정상 문장과 비속어 문장의 비율을 똑같이 맞추어 주기 위해 비속어 문장의 개수만큼 정상 문장을 무작위 추출하였다.

이론/모형

한 개의 데이터는 다차원 공간상의 벡터로 표현되는더], 데이터에 존재하는 자질들만 이진 가중치로 표현함으로써 하나의 벡터를 구성하게 된다. 이렇게 만들어진 벡터들을 이용하여 SVM을 학습하는더}, 본 연구에서는 LIBSVM[16] 을 이용하였고 선형커널을 이용하여 학습하였다.

성능/효과

N-gram 자질과 어휘/품사 자질을 이용하여 SVM을 학습하여 자동으로 비속어 문장을 차단하는 시스템을 제안하였다. 각 자질의 카이제곱 통계량을 이용하여 좋은 자질을 선택함으로써 시스템의 성능을 향상 시켰다. 비속어 문장을 차단하는 다른 연구가 아직 보고 되지 않아 다른 시스템과 직접적으로 비교할 수는 없지만, 제안 시스템은 90.
각 자질의 카이제곱 통계량을 이용하여 좋은 자질을 선택함으로써 시스템의 성능을 향상 시켰다. 비속어 문장을 차단하는 다른 연구가 아직 보고 되지 않아 다른 시스템과 직접적으로 비교할 수는 없지만, 제안 시스템은 90.4%의 F1 정확률을 얻어 비교적 좋은 성능을 얻었다. 향후, 시스템의 성능 향상을 위해서는 더 많은 채팅 데이터의 수집이 필요하다.
표 2에서와 같이 어휘/품사 정보만으로는 좋은 성능을 얻을 수 없었고 음절 n-gram자질을 사용한 것이 더 좋은 성능을 보였다. 음절n-gram에 어휘/품사 자질을 추가하여도 큰 성능 향상은 없었는데, 이는 채팅 문장의 특성상 형 태소 분석 오류가 많기 때문이다.
표3에서와 같이 카이제곱 통계량을 이용하여 자질의 개수를 약 1/10로 줄였을 때 더 좋은 성능을 보였는데 이는 카이제곱 통계량을 이용한 자질 선택 방법이 유용함을 보여 준다.

후속연구

필요하며 비속어와 그 변형어의 자.모음열의 유사도 측정 방법에 대한 연구도 뒤따라야할 것이다.
4%의 F1 정확률을 얻어 비교적 좋은 성능을 얻었다. 향후, 시스템의 성능 향상을 위해서는 더 많은 채팅 데이터의 수집이 필요하다. 현 시스템 이 수행하는 비속어가 포함된 문장 단위의 차단에서 더 나아가 비속어가 발생한 어절만 차단하는 시스템으로의 발전이 필요하다.

참고문헌 (17)

http://www.zdnet.co.kr/news/news_view.asp?artice_id 20110105084601, 2011.01.05.
http://www.edaily.co.kr/news/NewsRead.edy?SCDDB41&newsid01922086589626600, 2009.03.24.
http://www.ajnews.co.kr/view.jsp?newsId20101021000646, 2010.10.21.
이성욱, "카이제곱 통계량과 지지벡터기계를 이용한 스팸메일 필터", 정보처리학회논문지, 제17-B권, 제3호, pp.249-254, 2010.
V. Keselj, E. Milios, A. Tuttle, S. Wang, and R. Zhang, "TREC 2005 Spam Track: Spam Filtering Using N-gram-based Techniques", Proceedings of Text REtrieval Conference, 2005.
김현준, 정재은, 조근식, "가중치가 부여된 베이지 안 분류자를 이용한 스팸 메일 필터링 시스템", 정보과학회논문지, 제31권 8호, 2004, pp.1092-1100.
R. Segal, "IBM SpamGuru on the TREC 2005 Spam Track", Proceedings of Text REtrieval Conference, 2005.
A. Brakto and B. Filipic, "Spam Filtering Using Character-Level Markov Models: Experiments for the TREC 2005 Spam Track", Proceedings of Text REtrieval Conference, 2005.
L. A. Breyer, "DBACL at the TREC 2005", Proceedings of Text REtrieval Conference, 2005.
F. Assis, W. Yerazunis, C. Siefkes, and S. Chhabra, "CRM114 versus Mr. X: CRM114 Notes for the TREC 2005 Spam Track", Proceedings of Text REtrieval Conference, 2005.
W. Cao, A. An, and X. Huang, "York University at TREC 2005: SPAM Track", Proceedings of Text REtrieval Conference, 2005.
P. Kolari, A. Java, and T. Finin, "Characterizing the splogosphere", Proceedings of WWW 2006, 3rd Annual Workshop on the Webloggging Ecosystem: Aggregation, Analysis and Dynamics. 2006.
이성욱, "지지벡터기계를 이용한 스팸 블로그 (Splog) 판별 시스템", 한국해양정보통신학회 논문지, 제15권, 제1호, pp.163-168, 2011

원문보기 상세보기
은종민, 이성욱, 서정연, "지지벡터기계(Support Vector Machines)를 이용한 한국어 화행분석", 정보처리학회논문지, 제.12-B권, 제3호, pp.365-368, 2005.
Y. Yang and Jan O. Pedersen. "A comparative study on Feature selection in text categorization," Proceedings of the 14th International conference on Machine Learning, 1997.
http://www.csie.ntu.edu.tw/-cjlin/libsvm, 2009.
G. V. Cormack and T. R. Lynam. "TREC 2005 spam track overview," Proceedings of Text REtrieval Conference, 2005.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

온라인게임 채팅에서의 비속어 차단시스템
A Swearword Filter System for Online Game Chatting 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (17)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

온라인게임 채팅에서의 비속어 차단시스템 A Swearword Filter System for Online Game Chatting 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (17)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

온라인게임 채팅에서의 비속어 차단시스템
A Swearword Filter System for Online Game Chatting 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper