[논문]딥러닝 기반 비속어 필터링 채팅 프로그램 설계 및 구현

이건환; 박주찬; 최동원; 이연경; 최호빈; 한연희

딥러닝 기반 비속어 필터링 채팅 프로그램 설계 및 구현
Design and Implementation of Profanity Filtering Chat Program Based on Deep Learning 원문보기

이건환 (한국기술교육대학교 컴퓨터공학부) , 박주찬 (한국기술교육대학교 컴퓨터공학부) , 최동원 (한국기술교육대학교 컴퓨터공학부) , 이연경 (한국기술교육대학교 컴퓨터공학부) , 최호빈 (한국기술교육대학교 대학원 컴퓨터공학과) , 한연희 (한국기술교육대학교 첨단기술연구소)

최근에 게임이나 채팅 프로그램 내에서의 비속어 필터링은 금칙어 기반으로 운영되고 있다. 하지만 금칙어 기반의 프로그램은 여러 한계점을 보이며, 따라서, 본 논문에서는 'Text-CNN'을 활용한 딥러닝 기법에 기반하여 비속어 필터링 프로그램을 제안한다. 데이터의 자질을 '자모' 단위로 전처리하여 학습시키고 어느 부분이 비속어인지 검출하여 마스킹 처리하는 'LIME 알고리즘'을 사용하여 우리의 프로그램을 이용하는 사용자들에게 바른 언어습관을 지향하며 더 나아가 올바른 인터넷 문화를 조성할 수 있도록 필터링 채팅 프로그램을 제안한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이런 문제가 앞으로도 지속된다면 추후에 인터넷에서 마주 하는 상대방을 향한 개개인의 언행에서 무분별한 모독과 욕설 행위를 양심의 가책 없이 더 쉽게 행할 것이며, 도리어 또 다른 문제를 초래할 수 있다. 따라서, 본 논문에서는 이런 문제점들을 예방하고자 딥러닝 기반 비속어 필터링 채팅 프로그램을 제안한다.
본 논문에서는 최근 많은 곳에서 주목받고 응용되고 있는 인공지능의 기술 중 하나인 ‘딥러닝’을 활용한 필터링 채팅 프로그램이다.

제안 방법

총 데이터의 수는 400,000개이며, 욕과 평서문의 비율을 각각 50:50의 비율로 맞췄다. 70%를 Training data로 두고, 15%를 Validation data, 나머지 15%를 Test data로 학습을 진행했다.
실험을 위해 욕설이 포함된 특정 악성 커뮤니티 사이트들에서 댓글들을 Crawling 한 뒤, 분류로 평서문은 0, 욕설은 1로 ‘Labeling’을 해주었다.
자모 단위의 CNN과 형태소 단위의 LSTM 총 두가지에 대해서 실험을 해보았고, 결과는 (표 4)과 같다.
딥러닝을 이용하기 위해서는 방대한 데이터가 필요 하다. 제공되는 한국어 욕설 데이터가 없어, 직접 특정 악성 커뮤니티 사이트들에서 댓글들을 크롤링 (Crawling)하여 수집 후, 각각의 댓글마다 분류 기준을 두어 레이블링(Labeling) 처리를 한다. 총 수집한 데이터 수는 약 400,000개이다.
채팅 프로그램은 Flask에서 WebSocket을 기반으로 개발하였다. Flask는 Python Framework이기 때문에 다른 환경보다 딥러닝 모델과의 연동이 쉽다는 장점이 있다 [3].

대상 데이터

총 3개의 Convolution Layer와 3개의 FC Layer를 사용하였다. Convolution의 kernel size는 순서대로 6, 9, 12이다.
실험을 위해 욕설이 포함된 특정 악성 커뮤니티 사이트들에서 댓글들을 Crawling 한 뒤, 분류로 평서문은 0, 욕설은 1로 ‘Labeling’을 해주었다. 총 데이터의 수는 400,000개이며, 욕과 평서문의 비율을 각각 50:50의 비율로 맞췄다. 70%를 Training data로 두고, 15%를 Validation data, 나머지 15%를 Test data로 학습을 진행했다.
제공되는 한국어 욕설 데이터가 없어, 직접 특정 악성 커뮤니티 사이트들에서 댓글들을 크롤링 (Crawling)하여 수집 후, 각각의 댓글마다 분류 기준을 두어 레이블링(Labeling) 처리를 한다. 총 수집한 데이터 수는 약 400,000개이다. 데이터를 형태소 단위와 자모 단위 두 가지 방법으로 전처리를 한다.

이론/모형

각 FC Layer의 마지막 단에는 Overfitting을 방지하기 위해 Drop out을 두었다. Loss function은 Binary Cross Entropy Loss를 사용하였고, Optimizer는 Adam을 사용했다. Learning rate는 0.
데이터들을 학습시킬 딥러닝 모델로는 CNN 모델로서, CV task에 이용된다. 최근 CNN을 NLP(Natural Language Processing, 자연어 처리) 문제에 활용하기 위한 많은 시도가 있었고, CNN 모델이 NLP 문제에 적합하다는 것이 여러 실험을 통해 밝혀졌다.
마스킹 처리는 LIME 알고리즘을 사용하였다. LIME 알고리즘은 학습모델이 측정한 결과에 대해 해석하는 알고리즘이다.

성능/효과

또한 ‘ㅈ1랄’, ‘ㅅㅐㄲ1’같은 자음과 숫자를 결합하거나, 자모음을 서로 띄어서 교묘하게 우회된 욕설도 90%가 넘는 수치로 예측하며 우회된 욕설에 대해서도 좋은 결과를 보였다.
형태소 단위의 LSTM보다 자모 단위 CNN의 성능이 약 8% 정도 높게 측정되었다. 웹 사이트의 댓글이라는 비정형 데이터에 대해서 자모 단위로 했을때 성능이 뛰어난 것을 볼 수 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝 기반 비속어 필터링 채팅 프로그램 설계 및 구현
Design and Implementation of Profanity Filtering Chat Program Based on Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝 기반 비속어 필터링 채팅 프로그램 설계 및 구현 Design and Implementation of Profanity Filtering Chat Program Based on Deep Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

딥러닝 기반 비속어 필터링 채팅 프로그램 설계 및 구현
Design and Implementation of Profanity Filtering Chat Program Based on Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper