[논문]변형된 한글 금칙어에 대한 실시간 필터링 시스템

김찬우; 성미영

doi:10.9717/kmms.2019.22.6.695

변형된 한글 금칙어에 대한 실시간 필터링 시스템
Realtime Word Filtering System against Variations of Censored Words in Korean 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.22 no.6, 2019년, pp.695 - 705

김찬우 (Department of Computer Science & Engineering, Graduate School, Incheon National University) , 성미영 (Department of Computer Science & Engineering, Incheon National University)

Abstract ▼ AI-Helper

The level of psychological damage caused by verbal abuse among cyberbully victims is very serious. It is going to introduce a system that determines the level of sanctions against chatting in real time using the automatic prohibited words filtering based on artificial neural network. In this paper, we propose a keyword filtering method that detects the modified prohibited words and determines whether the corresponding chat should be sanctioned in real time, and a real-time chatting screening system using it. The accuracy of filtering through machine learning was improved by processing data in advance through coding techniques that express consonants and vowels of similar pronunciation at close distances. After comparing and analyzing Mahalanobis-based clustering algorithms and artificial neural network-based algorithms, algorithms that utilize artificial neural networks showed high performance. If it is applied to Internet chatting, comments or online games, it is expected that it will be able to filter more effectively than the existing filtering method and that this will ease communication inconvenience due to existing indiscriminate filtering methods.

주제어

표/그림 (27)

그림 Fig. 1. Process of Simulation.
그림 Fig. 2. Collected chat data and corresponding punishment classification.
그림 Fig. 3. Examples of chat data processing.
그림 Fig. 4. The result of 2-gram analysis of the collected data.
그림 Fig. 5. Result of encoding.
그림 Fig. 6. Mean-shift clustering of coded results based on Table 4.
표 Table 1. Rules of transforming for first syllable
표 Table 2. Rules of transforming for middle syllable
표 Table 3. Rules of transforming for last syllable
표 Table 4. Encoding for consonants, vowels of a Korean syllable
표 Table 5. Encoding consonants and vowel that similar sounds become nearby
그림 Fig. 7. Mean-shift clustering of coded results based on Table 5.
그림 Fig. 8. Classification results for new words input.
그림 Fig. 9. Accuracy of training by number of search nodes.
그림 Fig. 10. Pre-test accuracy of training by number of nodes (from 100 to 3000).
그림 Fig. 11. Pre-test accuracy of training by learning rate.
표 Table 6. Optimal value search through variable controlling
표 Table 7. Setting experimental conditions for the pre-test
그림 Fig. 12. Pre-test accuracy of training by number of repeats.
그림 Fig. 13. Accuracy of training by node count (From 10 to 90).
그림 Fig. 14. Accuracy of training by node count (From 100 to 2100).
표 Table 8. Setting experimental conditions for the test
그림 Fig. 15. Accuracy of Training by Learning Rate (0.3 and 0.4).
표 Table 9-1. Accuracy of Training by Learning Rate
표 Table 9-2. Accuracy of Training by Learning Rate
그림 Fig. 16. Accuracy of Training by Learning Rate (from 0.3 to 0.4).
그림 Fig. 17. Accuracy of Training by Number of Repeats.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 금칙어의 변형을 예측하여 검출해내고, 해당 금칙어가 정상적인 문장 일부인지 아닌지를 구별할 수 있는 개선된 필터링 시스템에 관하여연구한다. 한글 금칙어 필터링을 위해서는 자연어에대한 분석이 필수적이다.
본 연구에서는 변형된 금칙어를 자동검출해낼 수있는 금칙어 및 변형 금칙어 자동 필터링을 이용한 실시간 자동 채팅 제재 수위 판별 시스템을 소개한다.
‘염병’이 비속어로 지정된 경우 ‘전염병이 돌고 있어’라는 채팅은 ‘전**이 돌고 있어’로 필터링 되어 정상적인 의사소통이 어려워질 수 있다. 본 연구에서는 이러한 단점을 해결하고 변형된 금칙어를 자동검출해낼 수 있는 개선된 금칙어 필터링 기법과 이를 이용하는 실시간 채팅 검열 시스템을 제안한다.
본실험에서는 인공신경망의 적정 은닉 계층의 노드 수,반복횟수, 학습률을 탐색하기 위하여 실험을 진행한다. 아래 Table 6은 각 변수의 최적값을 찾기 위해결괏값에 영향을 미치는 다른 변수를 고정하여 최적의 변숫값을 찾는 기준이다.

가설 설정

대부분의 응용에서는 금칙어 리스트에 따른 단순한 단어 매칭 방식으로 필터링을 수행하는데, 이는 두 가지의 큰 문제점을 갖고 있다. 첫 번째 문제점은 금칙어의 변형에 취약하다는 것이다. 실제로 온라인 채팅에서는 이러한 필터링을 우회하기 위해 금칙어를 변형하여 사용하고 있다.

제안 방법

또한, 사전 처리가 완료된 데이터를 통해 기존의 처벌 방식을 최근접 이웃 알고리즘 및 인공신경망 두가지 방식으로 학습하여 새로운 데이터의 자동 처벌시스템의 신뢰도를 상승시켰다.
한국게임산업진흥원은 국립국어원과 ‘게임언어 건전화를 위한 공동협력 협약’을 맺고 ‘게임언어 건전화 지침서’를 발간하였다^[2]. 8508개의 금칙어를 폭력적, 선정적, 차별적, 사행성 유발의 네 가지 선정 기준에 따라분류하였고, 이들 금칙어를 대표형과 변형형으로 묶어 금칙어 선정에 표준화된 기준을 제시하였다. 다른연구로는 욕설을 변형하여 필터링을 우회하는 문제점을 개선하기 위해 변형 욕설의 표준화를 제시하고자소 단위의 반 전역 행렬(semi-global alignment)을 이용하여 변형 욕설을 효율적으로 필터링하는 알고리즘을 제시하는 연구가 수행되었다^[3].
두 번째로 학습률 별 평균 정확도를 보았다. 은닉계층의 노드 수와 반복횟수는 위의 경우와 같이 각각30개, 5개로 학습률 별 150가지의 실험을 거쳤다.
금칙어 변형의 대표형을 만들어내기 위해 군집화가 되어야 하며 금칙어 변형의 대표형을 군집화하려면 수치 형태의 입력 데이터가 필요하다. 따라서 금칙어를 군집화하려면 입력 데이터가 우선 수치로 변환되어야 하므로 한글을 인접 자소 인코딩 알고리즘으로 코드화하였다. 코드화한 데이터를 통해 해당 금칙어가 정상적인 문장 일부인지 악의적인 의미로 사용된 것인지를 구별하고, 해당 채팅이 제재 대상인지를 결정한다.
일반적으로 기계학습의 경우 학습 데이터가 많고 반복횟수가 많아질수록 성능이 좋아지는 특징을 갖고 있으나 반복횟수가 100일 때 오히려 가장높은 정확도를 보인다. 본 실험에서는 정확도가 많이감소하는 500회 이후의 반복횟수는 넣지 않고 (50,100, 200, 300, 400) 총 5가지로 좀 더 세분화하여 실험한다.
본 실험에서는 채팅 데이터에 대한 처벌 분류를위하여 두 가지 분류 알고리즘을 적용하고 그 정확도를 비교한다. 하나는 최근접 이웃 알고리즘(k-nearest neighbor algorithm)^[13]이고 다른 하나는 학습기반의 인공신경망 알고리즘(artificial neural network algorithm)^[14-15]이다.
본 연구에서는 군집화한 분류 중 빈도수가 높은군집을 기반으로 채팅 데이터의 처벌을 분류한다. 이방법은 단순히 빈도수만으로 군집하였기 때문에 금칙어가 아닌 사용자 이름이나 호칭과 같은 단어가특징에 포함될 수 있는 문제가 있다.
신경망의 완성도를 높이기 위하여 인공신경망의다양한 활성화 함수와 오차 함수를 적용하여 실험을진행하였다.
신고된 채팅 데이터 중 일상생활에서흔히 사용되는 비속어가 포함된 채팅 데이터 및 채팅데이터에 대한 처벌 분류를 수집한다. 처벌 분류 값은 0:해당 없음, 1:채팅 금지, 2:강제 퇴장으로 정의된다.
오차 함수로는 단순 오차, 단순 오차의 절댓값, 단순 오차의 제곱을 적용하여 정확도를 계산해보았다.오차값은 학습률에 직접적인 영향을 받으므로 학습률을 0.
은닉 계층의 노드 수와학습률은 위의 경우와 같이 각각 30개, 40개로 반복횟수별 1200가지의 실험을 진행한다. 반복횟수는 앞서 실험한 은닉 계층의 노드 수와 학습률과 다르게반복을 거듭할수록 평균 정확도가 올라가지만, 오히려 너무 과한 횟수로 반복할 경우 정확도가 떨어지는결과를 보인다.
이 연구는 정상 문장과비속어가 포함된 문장으로 나누어 서포트 벡터 머신 분류기를 학습시킨 후, 학습 과정에서 얻어진 자질을기반으로 비속어 분류를 수행한다.
최근접 이웃 알고리즘을 이용한 실험에서는 75%의 정확도를 보인다. 인공신경망을 이용한 세 가지 실험을 거쳐 최적의 은닉 계층과 노드의 수, 반복횟수 및 학습률의 값을 찾아내었다. 이를 통해 앞선 최근접 이웃 알고리즘을 이용한단순 필터링보다 신경망을 이용한 필터링의 정확도가 개선되었다.
첫 번째로 은닉 계층의 노드 수별 평균 정확도를보았다. 학습률과 반복횟수는 위의 경우와 같이 각각노드별로 200가지의 실험을 거친 결괏값의 평균이다.
최근접 이웃 알고리즘과 인공신경망을 이용한 네가지 실험을 진행하였다. 최근접 이웃 알고리즘을 이용한 실험에서는 75%의 정확도를 보인다.
최근접 이웃 알고리즘이 아닌 인공신경망을 이용하여 위의 6차원 벡터값 및 목푯값을 학습하였다. 본실험에서는 인공신경망의 적정 은닉 계층의 노드 수,반복횟수, 학습률을 탐색하기 위하여 실험을 진행한다.
활성화 함수에 성능이 좋아 많이 사용되는 함수인ReLU(rectified linear unit) 함수를 시그모이드 함수대신 적용해보았다. 이 경우 노드 수가 900개일 때 가장 높은 평균 정확도를 보이고, 학습률이 0.

대상 데이터

모든 실험의 시작 조건을 입력 계층(input layer)의 노드는 15개, 은닉 계층(hidden layer) 1개, 출력계층(output layer)의 노드는 3개로 설정한다. 은닉계층을 2개 이상으로 설정한 경우 오히려 정확도가감소하여 제외한다.
은닉계층의 노드 수와 반복횟수는 위의 경우와 같이 각각30개, 5개로 학습률 별 150가지의 실험을 거쳤다. 아래 Table 9-1과 9-2는 평균 정확도를 정리한 표이다.
학습률과 반복횟수는 위의 경우와 같이 각각노드별로 200가지의 실험을 거친 결괏값의 평균이다. 입력 계층의 노드 수가 15개이고 출력 계층의 노드 수가 3개이므로 은닉 계층의 노드 수가 10~90개로적은 경우부터 실험한다. 최고 정확도가 77.

이론/모형

15차원의 입력 데이터 간의 관련성을 찾기 효율적인 마할라노비스 거리(Mahalanobis distance) 기반의 최근접 이웃 알고리즘으로 군집화한다. 이에 관한
기계학습을 통한 자동 채팅 제재 판별을 위해 n-그램 방식을 채팅 데이터의 사전 처리에 적용하였다. 또한, 사전 처리가 완료된 데이터를 통해 기존의 처벌 방식을 최근접 이웃 알고리즘 및 인공신경망 두가지 방식으로 학습하여 새로운 데이터의 자동 처벌시스템의 신뢰도를 상승시켰다.
인공신경망은시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜,문제 해결 능력을 갖추는 모델 전반을 가리킨다^[16].본 실험에서는 입력 데이터 계산에 사용되는 활성화함수는 시그모이드 함수^[17]를 활용한다. 시그모이드 함수는 아래 수식 (2)와 같다.
본 연구에서는 채팅 데이터들로부터 의미 있는 데이터를 추출하기 위해 n-그램(n-gram) 분석법^[11]을 사용한다. 두 글자 단위로 쪼개기 위해 2-그램을적용하며, 쪼개어진 단어에 대한 빈도수가 높은 상위10개 정도의 단어들은 결과는 Fig.
최근접 이웃 알고리즘은 구현이 쉽고, 계산량이 적은 장점이 있어서 실험에 사용한다. 인공신경망 알고리즘은 최근 많이 활용되는 기계학습 방식이며 높은 정확도를 보이므로 채택하였다.

성능/효과

1단위로 새로실험을 진행한다. 그 결과 학습률이 0.35일 때 80.41%로 가장 높은 정확도를 보이며, 이는 본 실험에서 사용한 시그모이드 함수를 사용한 알고리즘보다 낮은최고 정확도를 보인다.
금칙어 자동 필터링을 위한 알고리즘에는 최근접이웃 알고리즘을 이용한 실험 결과인 75%보다 신경망을 사용하는 방법이 13% 높은 88.60%의 정확도를보이므로 인공신경망 기술이 금칙어 필터링에 더 효과적임을 확인할 수 있다.
7은 초성,중성, 종성별로 코드화를 적용한 후 평균 이동 알고리즘으로 군집화를 수행한 결과이다. 둘을 비교했을때, 음이 비슷한 자음, 모음이 비슷한 위치에 있도록코드화한 결과가 실제로 군집화가 잘 수행된 것임을확인할 수 있다.
마지막으로 인공신경망 학습 반복횟수별 각각의가장 높은 정확도를 보았다. 은닉 계층의 노드 수와학습률은 위의 경우와 같이 각각 30개, 40개로 반복횟수별 1200가지의 실험을 진행한다.
본 실험에서는 시그모이드 함수를 활성화 함수로사용하고 단순 오차 함수를 적용하였을 때 가장 높은정확도를 보임을 알 수 있다. 본 실험의 알고리즘 특성상 많은 노드 수를 사용하여 정확하게 분류하는ReLU 함수는 많은 가중치를 0 또는 무한대로 만들어버려 시그모이드 함수를 사용한 알고리즘보다 정확도가 낮은 것으로 판단된다.
또한, 신경망훈련 효율을 증대하기 위해선 너무 높거나 너무 낮지않은 적절한 값의 학습률^[18]을 찾아야 한다. 본 실험의 결과 같은 최고 정확도를 보인 두 가지 경우 중노드 수와 반복횟수에 비례하는 학습용량(learningcapacity)이 더 적은 사례 1이 더 효율적이다.
본 실험의 알고리즘 특성상 많은 노드 수를 사용하여 정확하게 분류하는ReLU 함수는 많은 가중치를 0 또는 무한대로 만들어버려 시그모이드 함수를 사용한 알고리즘보다 정확도가 낮은 것으로 판단된다. 오차 함수의 경우는 다른 방법들은 양의 오차와 음의 오차를 고려하지 않아서 역전파 계산에 정확한 값을 전달해 줄 수 없으며,이는 분류 항목별 오차가 서로 영향을 미치지 않기때문으로 판단된다.
본 연구의 실험에서는 최근접 이웃 알고리즘을 이용한 실험 결과인 75%보다 신경망을 사용하는 방법이 13% 높은 88.60%의 정확도를 보였다. 학습률은0.
이 연구는 정상 문장과비속어가 포함된 문장으로 나누어 서포트 벡터 머신 분류기를 학습시킨 후, 학습 과정에서 얻어진 자질을기반으로 비속어 분류를 수행한다. 분류 결과, 변형되지 않은 비속어에 한해서 86%의 정확성을 보인다.하지만 변형된 비속어에 대해서 충분히 학습되지 않았을 경우 제대로 분류하지 못하는 단점이 있다.
텍스트 마이닝과 인공신경망을 이용해 문서의 대표적인 내용을 추출하고 요약하는 연구도 진행되었다^[6].신문 기사를 텍스트화한 비정형 데이터로부터 수치데이터를 추출하여 문서의 중요 내용을 추출하는 방법을 활용하였으나, 정확도가 60% 이하로 실제 상황에 이용되기엔 부족한 정확도를 보였다. 욕설 문장확인을 위한 신경망 학습에 필요한 데이터가 부족한경우 임의로 생성한 문장을 신경망에 학습하는 연구도 진행된 바 있다^[7].
다른연구로는 욕설을 변형하여 필터링을 우회하는 문제점을 개선하기 위해 변형 욕설의 표준화를 제시하고자소 단위의 반 전역 행렬(semi-global alignment)을 이용하여 변형 욕설을 효율적으로 필터링하는 알고리즘을 제시하는 연구가 수행되었다^[3]. 실험 결과에서 일반 욕설 1672개의 단어를 입력하여 1648개를검출해내는 98.5%의 검출 성능을 보인다고 하지만,이 방법은 모든 금칙어를 수작업으로 입력해야 하며많은 계산이 필요하다는 단점이 있다. 서포트 벡터머신(support vector machine)^[4]을 사용한 지도 학습(supervised learning) 방식의 비속어 필터링 시스템을 제시한 연구도 있다^[5].
알고리즘 학습 반복횟수는 반복을 거듭할수록 평균 정확도가 올라가는 결과를 보인다. 이는 인공신경망이 많은 데이터를 여러 번 학습 할수록 성능이 향상함을 보여준다.
인공신경망을 이용한 세 가지 실험을 거쳐 최적의 은닉 계층과 노드의 수, 반복횟수 및 학습률의 값을 찾아내었다. 이를 통해 앞선 최근접 이웃 알고리즘을 이용한단순 필터링보다 신경망을 이용한 필터링의 정확도가 개선되었다. 신경망의 구성을 보았을 때, 최적의은닉 계층의 노드 수는 입력 계층의 노드 수와 관련이 있음을 알 수 있다.
입력 계층의 노드 수가 15개이고 출력 계층의 노드 수가 3개이므로 은닉 계층의 노드 수가 10~90개로적은 경우부터 실험한다. 최고 정확도가 77.11%를보이며 노드 수가 적은 실험의 경우 최근접 이웃 알고리즘과 정확도 차이가 거의 나지 않는 결과를 보인다. 아래 Fig.
07인경우가 제일 낮은 정확도 평균을 보였다. 최고 정확도를 보인 두 가지 실험 결과의 학습률 (0.33, 0.32)중 총 학습용량이 더 낮은 실험의 학습률 0.33이 높은효율성을 보였다.
60%의 정확도를 보였다. 학습률은0.33일 때 가장 높은 정확도 평균을 보였으며, 0.07인경우가 제일 낮은 정확도 평균을 보였다. 최고 정확도를 보인 두 가지 실험 결과의 학습률 (0.

후속연구

더 나아가서 자연어 처리 및 채팅 분석 시스템 등의 개발에도 이바지할 수 있을 것이다.
해당 연구에서는 영어 비속어를 주제로 진행되었으며, 한국어 비속어 연구가 많지 않은상황이다. 본 논문에서는 그동안 부족했던 한국어 비속어 연구를 진행할 예정이다. 또한, 핸드폰 메시지의 문자 조합만으로 변형된 금칙어를 필터링하는 연구^[8], 한의학에서 환자가 말하는 증상을 자연어 처리 및 형태소 분석을 통해 자동으로 증상을 진단하는연구^[9]와 사용자의 TV 시청 패턴을 분석하여 채널필터링 연구^[10]도 진행된 바 있다.
본 연구에서 제안하는 금칙어 및 변형 금칙어 필터링 기술을 인터넷 채팅, 댓글이나 온라인 게임 등에 적용하면 기존의 필터링 방식보다 더 효과적인필터링이 가능해질 것으로 예상된다. 더 나아가서 자연어 처리 및 채팅 분석 시스템 등의 개발에도 이바지할 수 있을 것이다.
11는 학습률별 정확도 평균값을 정리한그래프이다. 최고점은 학습률이 0.3일 때 84.66%로가장 높은 정확도를 보이지만 학습률이 0.4에서도 큰차이를 보이지는 않기에, 뒤의 실험에서는 학습률의최댓값을 0.4로 제한할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	인공신경망은 무엇인가?	인공신경망은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다. 인공신경망은시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 갖추는 모델 전반을 가리킨다[16]. 본 실험에서는 입력 데이터 계산에 사용되는 활성화함수는 시그모이드 함수[17]를 활용한다.
	금칙어 리스트에 따른 단순한 단어 매칭 방식의 문제점은 무엇인가?	대부분의 응용에서는 금칙어 리스트에 따른 단순한 단어 매칭 방식으로 필터링을 수행하는데, 이는 두 가지의 큰 문제점을 갖고 있다. 첫 번째 문제점은 금칙어의 변형에 취약하다는 것이다. 실제 로 온라인 채팅에서는 이러한 필터링을 우회하기 위해 금칙어를 변형하여 사용하고 있다. 예를 들면 ‘바보’가 금칙어로 지정된 경우,‘바부’와 같이 변형하여 필터링을 우회할 수 있다. 또 다른 문제점은 무분별한 필터링으로 인해 정상적인 의사소통을 방해하는 것이다.‘염병’이 비속어로 지정된 경우 ‘전염병이 돌고 있어’라는 채팅은 ‘전**이 돌고 있어’로 필터링 되어 정상적인 의사소통이 어려워질 수 있다. 본 연구에서는 이러한 단점을 해결하고 변형된 금칙어를 자동검출해낼 수 있는 개선된 금칙어 필터링 기법과 이를 이용하는 실시간 채팅 검열 시스템을 제안한다.
	변형된 금칙어들끼리 군집화하기 위해서 선행되어야 하는 것은 무엇인가?	변형된 금칙어들끼리 군집화하기 위해서는 일단각 금칙어를 위치 개념으로 코드화해야 한다. 위치 개념으로 코드화해야 거리 개념으로 군집화를 할 수 있기 때문이다.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증