[논문]기계 학습을 이용한 악성 댓글 판별 시스템

신효정; 최소운; 이경호; 이공주

기계 학습을 이용한 악성 댓글 판별 시스템
Discrimination System for Abusive Comments using Machine Learning 원문보기

신효정 (충남대학교) , 최소운 (충남대학교) , 이경호 (충남대학교) , 이공주 (충남대학교)

본 논문에서는 기계 학습(Machine Learning)을 이용하여 댓글의 악성 여부를 분류하는 시스템에 대해 설명한다. 댓글은 문장의 길이가 짧고 맞춤법이 잘 되어있지 않는 특성을 가지고 있다. 따라서 댓글 분석을 위해 형태소 분석 결과와 문자단위 Bi-gram, Tri-gram을 자질로 이용한다. 전처리 된 댓글에서 각 자질 추출 방법에 따라 자질을 추출한다. 추출된 자질을 이용하여 기계학습 알고리즘의 모델을 학습하고 댓글의 악성 여부 분류에 활용한다. 본 논문에서는 댓글의 악성 여부 판별을 위한 자질 추출방법을 제안하고 실험을 통해 이에 대한 효용성을 검증하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 백 오브 워즈(Bag of words, BoW), 워드 임베딩(Word embedding), 군집화(Clustering)방법을 이용하여 자질을 추출하였다. 다양한 자질 결정 방법을 통해 정확한 결과를 얻고자 하였다.
본 논문에서는 온라인 상의 댓글을 모아 악성 여부를 몇 가지 방법으로 판단하는 시스템을 제안하고 그 성능을 검증하였다.
유명인을 향한 악성 댓글 뿐만 아니라, 개인 대 개인에 대한 악성 댓글의 분쟁은 온라인을 넘어 오프라인에서도 그 영향을 끼치고 있다. 본 논문에서는 이러한 문제점을 완화 할 수 있는 악성 댓글 판별 시스템의 구성을 제안한다.

제안 방법

그 결과 악성 댓글 분류 성능을 떨어뜨린다. 그래서 낭비되는 자질 공간을 축소하기 위해 워드 임베딩(Word Embedding)과 K평균 군집화(K-means Clustering)를 사용하여 자질을 추출하였다. K 평균 군집화와 워드 임베딩을 이용하여 자질을 추출하는 방법은 다음과 같다.
본 논문에서 제안하는 시스템은 기계학습 모델을 기반으로 악성 댓글과 비악성 댓글을 분류한다. 분류기 학습을 위해 먼저 댓글을 수집하고, 이를 전처리한다.
본 논문에서는 백 오브 워즈(Bag of words, BoW), 워드 임베딩(Word embedding), 군집화(Clustering)방법을 이용하여 자질을 추출하였다. 다양한 자질 결정 방법을 통해 정확한 결과를 얻고자 하였다.
그렇기 때문에 이를 적절히 처리하여 자질로 사용할 수 있는 방법이 필요하다. 본 논문에서는 이러한 UNK 단어를 문자 단위 bi-gram과 문자단위 tri-gram으로 쪼개어 자질로 사용한다. 문자단위 n-gram 자질의 예는 그림 2와 같다.
워드 임베딩을 하기 위해 뉴스 기사 댓글, 온라인 커뮤니티 사이트 댓글의 약 10만 개 문서를 활용하였고 워드 투 벡터(Word 2 vec)[5] 알고리즘을 사용하여 워드임 베딩을 수행하였다.
기존에도 서포트 벡터 머신(Support Vector Machine, SVM)을 이용해 악성 댓글을 판별하는 연구가 있었다[4]. 이 연구에서는 자질에 대한 출현빈도(Term Frequency)와 역 문헌빈도(Inverse Document Frequency)를 가중치로 하여 문서를 벡터화하였다. 수치화 된 데이터는 <자질:값> 형태로 표현되고 학습 데이터로 활용하였다.
전처리 과정을 거친 댓글로부터 자질을 추출한다. 첫실험에서는 BoW를 통해 자질을 추출하였다. 수작업을 통해 분류된 데이터를 기준으로 악성과 비악성 2개의 클래스(class)가 생성된다.
댓글 판별이 필요한 댓글이 입력되면, 앞선 모델 학습 단계와 같은 과정을 통해 자질을 추출한다. 추출된 자질을 학습된 모델에 적용하여 입력된 댓글의 악성 댓글 여부를 판별한다.

대상 데이터

BoW의 자질 개수는 2,727개이고, 빈도 수 2이상인 단어만 자질로 추출 하였다.
K평균 군집화는 K를 100개, 500개, 1000개로 변화시키며 실험하였다. 학습데이터에 사용한 댓글의 평균 어절 개수는 4개 이다.
악성 댓글 판별을 위한 모델 학습 및 성능 평가를 위해 댓글을 수집하였다. 댓글은 1)인터넷 연예면 신문기사 댓글 2)온라인 커뮤니티 글의 댓글을 수집하였다. 1)의 댓글들은 신문기사의 특성상, 주로 시의성이 있는 다양한 여론의 댓글들이 달린다.
악성 댓글 판별을 위한 모델 학습 및 성능 평가를 위해 댓글을 수집하였다. 댓글은 1)인터넷 연예면 신문기사 댓글 2)온라인 커뮤니티 글의 댓글을 수집하였다.
2)의 댓글은 1)보다 덜 엄격한 수준에서 관리가 되는 인터넷 커뮤니티에서 수집하였다. 이를 통해 다양한 수준의 악성 댓글을 수집하였다.

이론/모형

전처리된 댓글은 자질 추출과정을 통해 일정한 길이의 벡터로 표현된다. 이렇게 추출된 자질을 SVM 알고리즘[3]에 적용하여 기계학습 모델을 학습한다.

성능/효과

BoW에 비해 K평균 군집화의 정확도가 더 높을 것이라는 예상과 달리 K평균 군집화 중 K=100인 결과만 BoW보다 높은 정확도를 나타내었다. K=500 실험 결과가 제일 낮은 정확도를 나타내었고 K=100 실험 결과가 제일 높은 정확도를 나타내었다.
BoW에 비해 K평균 군집화의 정확도가 더 높을 것이라는 예상과 달리 K평균 군집화 중 K=100인 결과만 BoW보다 높은 정확도를 나타내었다. K=500 실험 결과가 제일 낮은 정확도를 나타내었고 K=100 실험 결과가 제일 높은 정확도를 나타내었다.
학습 데이터를 통해 SVM모델을 학습시키고 그것을 기반으로 댓글을 분류하게 된다. 이 연구에서 댓글의 분류 정확도는 68.90%의 결과를 내었다.
제안한 시스템의 성능은 K평균 군집화를 이용한 실험이 가장 우수한 성능을 보였다. 자질이 크면 정확도가 올라갈 것이라는 예상과 달리 K값이 큰 경우 오히려 정확도가 떨어지는 결과를 얻을 수 있었다. 또 데이터 수집에서 수작업을 통한 분류가 정확하게 되어야 값도 정확하게 나오게 된다.
제안한 시스템의 성능은 K평균 군집화를 이용한 실험이 가장 우수한 성능을 보였다. 자질이 크면 정확도가 올라갈 것이라는 예상과 달리 K값이 큰 경우 오히려 정확도가 떨어지는 결과를 얻을 수 있었다.
형태소 분석 결과 중, 자질로 사용한 형태소는 일반명사, 고유명사, 동사, 형용사, 일반부사이다. 또한 자음으로만 이루어진 단어 중 욕설로 많이 사용되는 단어를 자질에 포함하였다.

후속연구

댓글에 반어법과 비유법을 구분 할 수 없어 아쉬움이 남는다. 따라서 향후 과제로 비정형화 데이터를 정형화에 가까운 데이터로 변환하여 정확도를 올리고 반어법과 비유법을 구분하여 판별할 수 있는 방법이 연구되어야 할 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

기계 학습을 이용한 악성 댓글 판별 시스템
Discrimination System for Abusive Comments using Machine Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

기계 학습을 이용한 악성 댓글 판별 시스템 Discrimination System for Abusive Comments using Machine Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

기계 학습을 이용한 악성 댓글 판별 시스템
Discrimination System for Abusive Comments using Machine Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper