인터넷을 통해 많은 정보를 얻고 많은 정보를 타인에게 제공하면서 개인의 삶의 양식에 큰 변화를 가져다주었다. 모든 사회 현상에는 양면성이 있듯이 인터넷 익명성을 이용하여 명예훼손, 인신공격, 사생활 침해등과 같이 악의적으로 이용하여 사회적으로 심각한 문제를 양산하고 있다. 인터넷 게시판의 악성댓글은 인터넷에서 발생하는 불법적인 언사나 행위와 관련하여 가장 대두되고 있는 문제이다. 이러한 문제를 해결하기 위해 많은 연구가 진행되고 있지만 악성댓글에 사용된 단어들은 변형이 많이 나타나기 때문에 기존 연구들은 이러한 변형된 악성어휘를 인식하는데 한계점이 존재한다. 이에 본 연구에서는 기존 연구의 한계점을 개선하여 악성댓글을 탐지하는 기법을 제안한다. 실험결과 87.8%의 정확도를 나타냈으며, 이는 기존 연구들에 비해 상당히 발전된 결과로 볼 수 있다.
인터넷을 통해 많은 정보를 얻고 많은 정보를 타인에게 제공하면서 개인의 삶의 양식에 큰 변화를 가져다주었다. 모든 사회 현상에는 양면성이 있듯이 인터넷 익명성을 이용하여 명예훼손, 인신공격, 사생활 침해등과 같이 악의적으로 이용하여 사회적으로 심각한 문제를 양산하고 있다. 인터넷 게시판의 악성댓글은 인터넷에서 발생하는 불법적인 언사나 행위와 관련하여 가장 대두되고 있는 문제이다. 이러한 문제를 해결하기 위해 많은 연구가 진행되고 있지만 악성댓글에 사용된 단어들은 변형이 많이 나타나기 때문에 기존 연구들은 이러한 변형된 악성어휘를 인식하는데 한계점이 존재한다. 이에 본 연구에서는 기존 연구의 한계점을 개선하여 악성댓글을 탐지하는 기법을 제안한다. 실험결과 87.8%의 정확도를 나타냈으며, 이는 기존 연구들에 비해 상당히 발전된 결과로 볼 수 있다.
The Internet has brought lots of changes to us sharing information mutually. However, as all social symptom have double-sided character, it has serious social problem. Vicious users have been taking advantage of anonymity on the Internet, stating comments aggressively for defamation, personal attack...
The Internet has brought lots of changes to us sharing information mutually. However, as all social symptom have double-sided character, it has serious social problem. Vicious users have been taking advantage of anonymity on the Internet, stating comments aggressively for defamation, personal attacks, privacy violation and more. Malicious comments on the Internet are creating the biggest problem regarding unlawful acts and insults which occur on the Internet. In order to solve the issues, several studies have been done to efficiently manage the comments. However, there are limitations to recognize modified malicious vocabulary in previous research. So, in this paper, we propose a malicious comments detection technique by improving limitation of previous studies. The experimental result has shown accuracy of 87.8% providing higher accuracy as compared to previous studies done.
The Internet has brought lots of changes to us sharing information mutually. However, as all social symptom have double-sided character, it has serious social problem. Vicious users have been taking advantage of anonymity on the Internet, stating comments aggressively for defamation, personal attacks, privacy violation and more. Malicious comments on the Internet are creating the biggest problem regarding unlawful acts and insults which occur on the Internet. In order to solve the issues, several studies have been done to efficiently manage the comments. However, there are limitations to recognize modified malicious vocabulary in previous research. So, in this paper, we propose a malicious comments detection technique by improving limitation of previous studies. The experimental result has shown accuracy of 87.8% providing higher accuracy as compared to previous studies done.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
감성사전은 댓글의 악성을 분석하는 과정에서 사용하는데, 분석의 정확도를 높이는데 매우 큰 비중을 차지한다. 기존 연구에서는 악성댓글에 특화된 감성사전이 구축되어있지 않아 본 논문에서는 [9]의 긍정지수를 산출하는 방법을 바탕으로 악성댓글에 특화된 감성사전을 구축하여 악성지수를 산출하는 연구를 진행한다. 한글 정규화 과정을 거친 댓글은 형태소를 분석하여 감성사전에 등록할 후보 단어들을 추출한다.
데이터의 개수가 증가함에 따라 성능 면에서 향상된 결과를 보인 것은 보다 많은 양의 데이터를 수집하여 분석한다면 지금보다 더 향상된 결과를 얻을 수 있을 것이라 생각된다. 본 논문에서는 선행연구보다 정확도를 높이는 것을 목표로 하였다. 표 2과 같이 기존의 연구들과 비교했을 때 악성댓글을 탐지하는 정확도가 높아 우수한 성능을 확인하였다.
이러한 행동에 대해 반성이나 잘못의 인식이 요구되고 있지만 해를 거듭할수록 악성댓글로 인한 피해는 오히려 기하급수적으로 증가하고 있다. 이를 해결하기 위해 본 논문에서는 악성댓글을 탐지하는 기법을 제시하였다. 최근 댓글들은 인위적으로 조작하여 변형된 한글을 사용하기 때문에 한글 정규화 과정을 통해 변형된 한글을 원래의 한글로 복원하였다.
악성댓글은 악성어휘로 차단되는 것을 피하기 위해 인위적으로 변형된 한글을 사용하고 있다. 이에 본 논문은 [5]의 연구를 바탕으로 변형된 한글을 정상적인 한글로 복원하는 연구를 진행한다. 한글 정규화 과정은 그림 2와 같다.
이렇게 악성댓글을 근절하기 위한 정부에서의 시도가 효과를 보지 못하는 가운데 악의적인 댓글을 시스템적으로 관리하기 위한 많은 연구들이 진행되었지만 악성댓글을 작성하는 사용자는 기존의 문법을 파괴하면서 댓글을 작성하기 때문에 변형된 악성어휘를 인식하는데 취약하다는 단점이 존재한다. 이에 본 연구의 목적은 기존 연구들의 한계점을 개선하여 인터넷상에서 작성되는 방대한 양의 데이터 중에서 악의적인 정보를 탐지하는 정확도를 높여 건전한 사이버 생태계를 구현하는데 기여할 수 있는 기법을 제안하고자한다.
감성분석의 기본 작업은 문장의 극성을 긍정, 부정, 중립 등으로 나누는 것이다. 하지만 본 논문에서는 감성분석을 악성댓글을 분류하는 것에 이용하지 않고 SVM을 이용해 학습시키기 위한 데이터의 속성으로 사용하고자 한다. 댓글의 형태소를 분석하여 단어를 추출한 후, 추출한 단어와 감성사전의 단어들을 비교해 해당 댓글의 악성지수를 계산한다.
제안 방법
구축한 감성사전을 활용하여 댓글의 감성분석을 진행한다. 감성분석의 기본 작업은 문장의 극성을 긍정, 부정, 중립 등으로 나누는 것이다.
[7]의 연구는 도메인의 특성을 고려하여 구축한 감성사전을 감성평가에 이용함으로써 정확도를 향상시켰고, [8]에서도 특화된 감성사전을 구축하여 이를 감성분류에 사용함으로써 정확도가 높게 나타났다. 댓글에는 비속어나 은어가 많이 쓰이기 때문에 댓글의 정확한 감성분석을 위해 비속어나 은어들을 고려해야 함으로 본 연구에서는 [9]의 방법을 이용하여 악성댓글을 탐지하기 위해 특화된 감성사전을 구축하고, 구축된 감성사전을 통해 댓글의 감성을 분석한다. [9]의 방법은 단어의 긍정지수를 0~1까지의 수로 산출하였다면, 본 논문은 [9]의 방법과 동일한 식을 이용하여 단어의 악성지수를 0~1까지의 수로 산출하여 분석에 응용하였다.
하지만 본 논문에서는 감성분석을 악성댓글을 분류하는 것에 이용하지 않고 SVM을 이용해 학습시키기 위한 데이터의 속성으로 사용하고자 한다. 댓글의 형태소를 분석하여 단어를 추출한 후, 추출한 단어와 감성사전의 단어들을 비교해 해당 댓글의 악성지수를 계산한다. 댓글의 악성지수(Malicious index of Comment, MC )는 해당 댓글에서 추출한 단어들의 악성지수를 합해 그 개수로 나눈 산술평균값이며, 수식으로 표현하면 식 (7)과 같다.
감정발산형 댓글은 기사 내용에 대해 응원하는 댓글을 작성하기도 하지만, 비속어와 욕설을 사용함으로써 폭력적인 언어를 사용하기도 한다. 따라서 본 연구는 욕설이나 비속어를 사용하거나 상대방이 불쾌감을 느낄 부정적인 언어를 사용하는 댓글을 악성댓글로 구분한다.
최근 댓글들은 인위적으로 조작하여 변형된 한글을 사용하기 때문에 한글 정규화 과정을 통해 변형된 한글을 원래의 한글로 복원하였다. 또한 인터넷 댓글에 특화된 감성사전을 구축하였고, 구축된 감성사전을 이용해 댓글의 감성을 분석하였다. 이를 기계학습 알고리즘 중 하나인 SVM을 사용하여 악성댓글 탐지를 위한 하나의 방정식을 도출하였다.
본 논문은 악성댓글을 탐지하기 위해 SVM을 사용하여 최적의 경계면의 식을 도출한다. SVM은 주어진 데이터가 선형으로 분류되는 경우와 분류되지 않을 경우 적용하는 기법이 다르다.
본 연구는 서울대학교 IDS(Intelligent Data System) 연구실에서 개발한 ‘꼬꼬마 형태소 분석기’를 이용하여 수집한 댓글의형태소 분석을 진행한다.
특히 기계는 사람과 달리 편집된 글의 의미를 인식하지 못하여 욕설 및 비속어가 포함된 댓글을 필터링 하는데 한계가 존재한다. 이에 본 연구에서는 [5]의 연구 방법을 바탕으로 변형된 한글을 정상적인 한글로 복원하는 연구를 진행한다.
감성분석이란 사용자가 작성한 문장의 성향을 나타내는 패턴을 이용해 텍스트 내에서 주관적인 정보를 검토하고 처리하는 기법으로 기본 작업은 문장의 극성을 긍정, 부정, 중립 등으로 나누는 것이다. 하지만 본 논문에서는 감성분석을 악성댓글을 분류하는 것에 이용하지 않고 기계학습 알고리즘 중 하나인 SVM(Support Vector Machine)을 이용해 학습시키기 위한 데이터의 속성으로 사용하고자 한다. 감성분석의 과정은 형태소분석기를 사용해 텍스트를 분해하고 추출한 단어를 감성사전과의 비교를 통해 텍스트의 단어 빈도수와 악성지수를 도출하는 과정까지만 진행한다.
SVM을 이용하여 식을 도출하기 위해서는 미리 학습된 데이터가 필요하다. 학습데이터 500개를 SVM을 사용해 악성댓글을 탐지하기 위한 식을 도출하고, 평가데이터 100개를 이용하여 악성댓글 탐지에 대한 성능을 평가한다. 본 논문에서 제안하는 기법의 과정은 그림 1과 같다.
대상 데이터
실험에 필요한 데이터는 페이스북의 댓글을 수집해주는 ‘the fancake서비스[14]’를 사용한다. 500개의 학습데이터와 100개의 평가데이터를 수집하였으며 수집된 댓글은 수작업으로 악성댓글과 일반댓글로 구분한다. 뉴스 기사의 댓글은 작성자의 의도에 따라 기사의 내용에 대해 자신의 소감, 주장, 견해 등을 표현하는 사실판단형과 자신의 내적인 감정을 표현하는 감정발산형이 있다[15].
댓글의 단어 빈도수와 악성지수를 도출한 후 악성댓글 여부 항목을 추가해 SVM을 이용해 학습을 위한 데이터로 사용한다. 악성댓글 여부는 악성댓글일 경우는 yes, 그렇지 않을 경우는 no 두 가지로 나타낸다.
SVM은 주어진 데이터가 선형으로 분류되는 경우와 분류되지 않을 경우 적용하는 기법이 다르다. 본 논문에서 사용한 데이터는 비선형 SVM을 사용하였다. 비선형 SVM의 경우커널함수를 사용하여 기존 데이터를 고차원 공간으로 변환한 다음, 선형 SVM의 공식화를 통해 2차 계획법문제로 표현하여 최대 마진 초평면을 찾을 수 있다.
본 실험에서 탐지 기법의 성능을 평가하기 위하여 학습 데이터 수를 100개에서 300개, 그리고 500개로 증가했을 경우의 탐지 결과를 측정하였고 아래 표와 같은 결과를 얻을 수 있었다.
실험에 필요한 데이터는 페이스북의 댓글을 수집해주는 ‘the fancake서비스[14]’를 사용한다.
데이터처리
학습데이터로 교차 검증 절차를 통해 최적화된 SVM을 통한 악성댓글 탐지 식을 도출하고, 평가 데이터로 도출된 식 y=0.2875a+5.4685b-2.8237 에 대입하여 나온 최종 값들에 근거하여 정확도(Precision), 재현율(Recall), 그리고 F1-measure를 계산하여 기법에 대한 성능을 평가하였다. 각각의 대한 정의는 식 (8), (9), (10)과 같다.
이론/모형
SVM은 뉴질랜드 와이카토 대학에서 개발한 오픈소스 소프트웨어인 ‘WEKA’를 사용하였다.
비선형 SVM의 경우커널함수를 사용하여 기존 데이터를 고차원 공간으로 변환한 다음, 선형 SVM의 공식화를 통해 2차 계획법문제로 표현하여 최대 마진 초평면을 찾을 수 있다. 본 논문은 SVM을 학습하는 과정에서 Polynomial kernel를 사용하였고 10-fold cross-validation 방식을 통해 판별 정확도를 입증했다. SVM은 뉴질랜드 와이카토 대학에서 개발한 오픈소스 소프트웨어인 ‘WEKA’를 사용하였다.
또한 인터넷 댓글에 특화된 감성사전을 구축하였고, 구축된 감성사전을 이용해 댓글의 감성을 분석하였다. 이를 기계학습 알고리즘 중 하나인 SVM을 사용하여 악성댓글 탐지를 위한 하나의 방정식을 도출하였다. 그 후 평가 데이터를 이용하여 정확도(Precision), 재현율(Recall), 그리고 F1-measure을 계산하여 악성댓글탐지 기법에 대한 성능을 측정하였고, 그 결과 기존의 연구들 보다 정확도(Precision)가 높아 우수한 성능을 보였다.
성능/효과
이를 기계학습 알고리즘 중 하나인 SVM을 사용하여 악성댓글 탐지를 위한 하나의 방정식을 도출하였다. 그 후 평가 데이터를 이용하여 정확도(Precision), 재현율(Recall), 그리고 F1-measure을 계산하여 악성댓글탐지 기법에 대한 성능을 측정하였고, 그 결과 기존의 연구들 보다 정확도(Precision)가 높아 우수한 성능을 보였다. 본 연구는 기계학습을 시키기 위해 필요한 데이터를 정제하는 과정에서 댓글에 특화된 감성사전을 구축하여 이를 감성분석에 이용할 수 있음을 나타내었다.
그 후 평가 데이터를 이용하여 정확도(Precision), 재현율(Recall), 그리고 F1-measure을 계산하여 악성댓글탐지 기법에 대한 성능을 측정하였고, 그 결과 기존의 연구들 보다 정확도(Precision)가 높아 우수한 성능을 보였다. 본 연구는 기계학습을 시키기 위해 필요한 데이터를 정제하는 과정에서 댓글에 특화된 감성사전을 구축하여 이를 감성분석에 이용할 수 있음을 나타내었다. 또한 실무적으로 기존의 방식에 비해 인위적으로 변형시킨 악성댓글에 대한 탐지 효율이 높을 것이며 이를 더욱 발전시키고 보완한다면 서비스에 적용할 수 있을 것이라고 생각된다.
표 1에서 볼 수 있듯이 SVM을 통해 구한 식은 500개의 데이터로 학습했을 때 정확도 87.8%와 재현율 86%, 그리고 F1-measure 86.9%로 가장 좋은 결과를 나타내었다. 데이터의 개수가 증가함에 따라 성능 면에서 향상된 결과를 보인 것은 보다 많은 양의 데이터를 수집하여 분석한다면 지금보다 더 향상된 결과를 얻을 수 있을 것이라 생각된다.
본 논문에서는 선행연구보다 정확도를 높이는 것을 목표로 하였다. 표 2과 같이 기존의 연구들과 비교했을 때 악성댓글을 탐지하는 정확도가 높아 우수한 성능을 확인하였다.
후속연구
9%로 가장 좋은 결과를 나타내었다. 데이터의 개수가 증가함에 따라 성능 면에서 향상된 결과를 보인 것은 보다 많은 양의 데이터를 수집하여 분석한다면 지금보다 더 향상된 결과를 얻을 수 있을 것이라 생각된다. 본 논문에서는 선행연구보다 정확도를 높이는 것을 목표로 하였다.
본 연구는 기계학습을 시키기 위해 필요한 데이터를 정제하는 과정에서 댓글에 특화된 감성사전을 구축하여 이를 감성분석에 이용할 수 있음을 나타내었다. 또한 실무적으로 기존의 방식에 비해 인위적으로 변형시킨 악성댓글에 대한 탐지 효율이 높을 것이며 이를 더욱 발전시키고 보완한다면 서비스에 적용할 수 있을 것이라고 생각된다. 하지만 감성사전을 구축하는데 필요한 데이터가 충분하지 못하였고 악성댓글의 특징은 시대가 변하면서 계속 변형되고 새로 만들어지기 때문에 새로 생기는 단어들을 일일이 추가하여야 한다는 한계점이 존재한다.
또한 언어의 특징에서 발생되는 여러 가지 문맥적 의미 변이와 반어법 등 문장의 감성을 탐지하기 위해서는 다양한 상황에 대한 고려가 필요하다. 향후 연구에서는 충분한 양의 데이터를 수집하여 감성사전의 지속적인 버전 업을 통해 감성단어의 정확성을 높이는 것이 향후 과제 중 하나이며, 텍스트의 감성을 보다 정확하게 탐지하기 위해 문장에서 단어들 간의 연관성과 문장 규칙을 적용하여 분석한다면 기법의 한계점을 보완할 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
감성분석이란?
감성분석이란 사용자가 작성한 문장의 성향을 나타내는 패턴을 이용해 텍스트 내에서 주관적인 정보를 검토하고 처리하는 기법으로 기본 작업은 문장의 극성을 긍정, 부정, 중립 등으로 나누는 것이다. 하지만 본 논문에서는 감성분석을 악성댓글을 분류하는 것에 이용하지 않고 기계학습 알고리즘 중 하나인 SVM(Support Vector Machine)을 이용해 학습시키기 위한 데이터의 속성으로 사용하고자 한다.
Support Vector는 무엇을 결정하는 중요한 정보인가?
분리경계면에서 가장 가까운 데이터들을 지지벡터라고 부른다. 지지벡터는 분리경계면을 결정하는 중요한 정보이다. 분리경계면을 수식으로 표현하면y = wx+b = 0과 같다.
인터넷 익명성은 어떤 심각한 문제를 양산하고 있는가?
인터넷을 통해 많은 정보를 얻고 많은 정보를 타인에게 제공하면서 개인의 삶의 양식에 큰 변화를 가져다주었다. 모든 사회 현상에는 양면성이 있듯이 인터넷 익명성을 이용하여 명예훼손, 인신공격, 사생활 침해등과 같이 악의적으로 이용하여 사회적으로 심각한 문제를 양산하고 있다. 인터넷 게시판의 악성댓글은 인터넷에서 발생하는 불법적인 언사나 행위와 관련하여 가장 대두되고 있는 문제이다.
참고문헌 (16)
Korean Internet & Security Agency, "Internet Use Survey Summary Report," Korean Internet & Security Agency (KISA), 2014.
S. S. Kang, "A Normalization Method of Distorted Korean SMS Sentences for Spam Message Filtering," Korea Information Processing Society, vol. 3, no. 7, pp.271-276, Jul. 2014.
K. S. Shim and J. H. Yang, "High Speed Korean Morphological Analysis based on Adjacency Condition Check," Korean Institute of Information Scientists and Engineers, vol. 31, no. 1, pp.89-99, Jan. 2004.
J. S. Song and S. W. Lee, "Automatic Construction of Positive/Negative Feature-Predicate Dictionary for Polarity Classification of Product Reviews," Korean Institute of Information Scientists and Engineers, vol. 38, no. 3, pp.157-168, Mar. 2011.
S. W. Kim and N. K. Kim, "A Study on the Effect of Using Sentiment Lexicon in Opinion Classification," Korea Intelligent Information System Society, vol. 20, no. 1, pp.133-148, Mar. 2014.
E. J. You, Y. S. Kim, N. K. Kim and S, Y. Jung, "Predicting the Direction of the Stock Index by Using a Domain-Specific Sentiment Dictionary," Korea Intelligent Information System Society, vol. 19, no. 1, pp.95-110, Mar. 2013.
M. S. Kim and S. S. Kang, "A Design and Implementation of Malicious Web Log Identification System by Using SVM," 18st Annual Conference on Human and Language Technology, pp.285-289, Oct. 2006.
M. Y. Bae and J. W. Cha, "Comments Classification System using Topic Signature," Korean Institute of Information Scientists and Engineers, vol. 35, no. 12, pp.774-779, Dec. 2008.
H. J. Kim, Y. M. Yoon and B. M. Lee, "Prediction System for Abusive Postings using Enhanced FFP," Journal of Korean Institute of Information Technology, vol. 9, no. 1. pp.207-216, Jan. 2011.
the fancake, [Internet]. Available: https://thefancake.co.kr/
K. H. Joe, "A Study Text Typological of Internet Comments," The Textlinguistic Society of Korea, vol. 23, pp.203-230, Nov. 2007.
S. S. Kang and K. B. Hwang, "A Language Independent n-gram Model for Word Segmentation," Advances in Artificial Intelligence 2006, vol. 4303, pp.557-565, Dec. 2006.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.