선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 욕설과 비속어를 포함한 악성 댓글에 대한 피해는 최근 언론에 나오는 연애인의 자살뿐만 아니라 사회 전반에서 다양한 형태로 증가하고 있다. 이 논문에서는 양방향 장단기 메모리 신경망 모델을 이용하여 욕설을 검출하는 기법을 제시하였다. 웹 크룰러를 통해 웹상의 댓글을 수집하고, 영어나 특수문자 등의 사용하지 않은 글에 대해 불용어 처리를 하였다.
- 이에 이 연구에서는 인터넷상에서 작성되는 방대한 양의 데이터 중에서 악의적인 정보 특히 욕설을 탐지하는 정확도를 높이는 방법을 제안하고자 한다.
제안 방법
- 이 논문에서는 양방향 장단기 메모리 신경망 모델을 이용하여 욕설을 검출하는 기법을 제시하였다. 웹 크룰러를 통해 웹상의 댓글을 수집하고, 영어나 특수문자 등의 사용하지 않은 글에 대해 불용어 처리를 하였다. 불용어 처리된 댓글에 대 해 문장의 전·후 관계를 고려한 양방향 장단기 메모리 신경망 모델을 적용하여 욕설 여부를 판단하고 검출하였다.
- 웹 크룰러를 통해 웹상의 댓글을 수집하고, 영어나 특수문자 등의 사용하지 않은 글에 대해 불용어 처리를 하였다. 불용어 처리된 댓글에 대 해 문장의 전·후 관계를 고려한 양방향 장단기 메모리 신경망 모델을 적용하여 욕설 여부를 판단하고 검출하였다. 양방향 장단기 메모리 신경망을 사용하기 위해 검출된 댓글에 대해 형태소 분석과 벡터화 과정을 거쳤으며 각 단어들에 욕설 해당 여부를 라벨링하여 진행하였다.
- 불용어 처리된 댓글에 대 해 문장의 전·후 관계를 고려한 양방향 장단기 메모리 신경망 모델을 적용하여 욕설 여부를 판단하고 검출하였다. 양방향 장단기 메모리 신경망을 사용하기 위해 검출된 댓글에 대해 형태소 분석과 벡터화 과정을 거쳤으며 각 단어들에 욕설 해당 여부를 라벨링하여 진행하였다. 실험 결과 정제하고 수집된 총 9,288개의 댓글에 대해 88.
- 데이터의 검증을 위해 K-폴드 교차 검증을 시행한다. 데이터 수집은 웹 크룰링과 불용어처리(영문, 특수문자제거)과정을 거쳐 수행하고, 데이터 전치리 및 특징 생성은 행태소 분석, 문장의 벡터화 그리고 욕설단어 라벨링을 진행한다. 양 방향 장단기 메모리 신경망은 임베딩 층, 양방향 장단기 메모리 신경망 층, 글로벌 맥스풀링 층, 드럽아웃 층, 밀집층으로 구성하였다.
- 데이터 수집은 웹 크룰링과 불용어처리(영문, 특수문자제거)과정을 거쳐 수행하고, 데이터 전치리 및 특징 생성은 행태소 분석, 문장의 벡터화 그리고 욕설단어 라벨링을 진행한다. 양 방향 장단기 메모리 신경망은 임베딩 층, 양방향 장단기 메모리 신경망 층, 글로벌 맥스풀링 층, 드럽아웃 층, 밀집층으로 구성하였다.
- 수집된 데이터에 대해 양방향 장단기 메모리 신경망(BLSTMs:bidirectional LSTM Networks)에 서 사용할 특징 생성을 하기 위해, 형태소 분석, 문장의 벡터화, 욕설 단어 라벨링의 3 단계를 거쳐 코드북 사전을 작성한다.
- 양방향 장단기 메모리 신경망(bidirectional LSTM Networks)의 입력 값으로 사용하기 위해 단어를 토큰화하고 정수화한다. 정수형으로 표현하기 위해 벡터화 과정을 거친다.
- 1 데이터 수집의 그림 댓글 단어의 개수에 대한 로그 히스토그램에서 살펴보듯이 다양한 크기의 단어 개수를 볼 수 있다. 이 문제를 해결하기 위해 특정 개수보다 문장이 짧으면 0으로 너무 길면 잘라내는 메움(padding) 처리를 하였다. 최적의 임계 단어 수를 정할 때는 너무 단어가 길어서 과적합(overfitting)하거나 너무 단어가 짧아서 과소적합(underfitting)하는 경우를 피하고자 수집한 데이터의 분포를 살펴보고 결정하게 된 다.
- 욕설 단어에 대한 라벨링을 하기 위해, 수집된 댓글 문장에 대해 수작업으로 욕설 댓글과 욕설 이 아닌 댓글로 구분하였다. “시발”이나“지랄”, “패드립”, “관종”과 같은 욕설이나 비속어 등을 사용하는 댓글에 대해 욕설로 분류하였다.
- 욕설 단어에 대한 라벨링을 하기 위해, 수집된 댓글 문장에 대해 수작업으로 욕설 댓글과 욕설 이 아닌 댓글로 구분하였다. “시발”이나“지랄”, “패드립”, “관종”과 같은 욕설이나 비속어 등을 사용하는 댓글에 대해 욕설로 분류하였다. 구축된 욕설 댓글은 2,089개와 욕설이 아닌 댓글 7199 개에 대해 그림 11과 같이 라벨링을 진행하여 단 어 사전을 구축하였다.
- “시발”이나“지랄”, “패드립”, “관종”과 같은 욕설이나 비속어 등을 사용하는 댓글에 대해 욕설로 분류하였다. 구축된 욕설 댓글은 2,089개와 욕설이 아닌 댓글 7199 개에 대해 그림 11과 같이 라벨링을 진행하여 단 어 사전을 구축하였다.
- 2에서 생성한 문장의 벡터정보를 입력 값으로 사용한다. 설계된 모형은 입력된 문장 벡터로부터 임베딩 층(embedding layer), 양방향 장단기 메모리 신경망 층(bidirectional LSTM layer), 글로벌 멕스풀링 층(global max pooling layer), 드랍아웃 층(dropout layer), 밀집 2층(dense layer), 밀집 1층 (dense layer)으로 구성하였다.
- 대부분의 신경망 구조가 심층학습(deep learning)을 구현할 수 없는 이유이다. 이 문제를 해결하고자 RNNs 의 은닉 층(hidden layer)을 입력(input), 출력 (output), 망각(forget) 3개의 게이트(gate)로 구성하는 메모리 블록(memory block)으로 대체 하는 장단기 메모리 신경망(Long Short-Term Memory)구조를 제시하였다. 우리는 장단기 메모리 신경망의 빠른 구현과 내부적으로 텐서플루어 GPU만을 사용하는 아래 그림 14와 같은 메모리 블록을 이용한 cuDNN장단기 메모리 신경망을 사용하였다[7]
- 전체 원본 데이터가 {1,2,3,4}가 있다면 4를 제외한 {1,2,3}을 훈련시키고 4를 가지고 검증하고, 다시 {1,2,4}를 훈련시키고 3을 가지고 k번만큼 반복 후 평균을 구하여 검증하는 방식이다. 우리는 원본 데이터를 20개의 구간으로 나누어 즉 k=20으로 설정하고 교차 검증을 수행하였다.
- 정확도 평가는 아래 식과 같이, 정확히 욕설로 검출된 개수를 전체 욕설의 개수로 나누어 평가하였다.
대상 데이터
- 실험에 필요한 데이터는 디시인사이드(https:// www.dcinside.com/)의 6개의 갤러리(국내야구, 주식, 리그 오브 레전드, 해외 연예, 인터넷방송, 역사) 로부터 수집하였다. 데이터 수집을 위하여, 오픈 API 중 dc api[1]를 사용하였다.
- com/)의 6개의 갤러리(국내야구, 주식, 리그 오브 레전드, 해외 연예, 인터넷방송, 역사) 로부터 수집하였다. 데이터 수집을 위하여, 오픈 API 중 dc api[1]를 사용하였다.
- 그림 5와 같이 총 9,402개의 댓글을 수집하였으며 수집된 댓글은 데이터 엔지니어링 과정을 거치며 영문 댓글과 특수문자가 제거된 후 9,288개 수집되었다.
- 그림 9의 (b)와 같이 추출된 형태소 데이터에 대해 단어 순서를 라벨링한다. 이 연구에서는 총 16,403개의 단어가 추출되었다.
- 1 자료수집에서 수집된 데이터의 특성이 아래 표 1과 같음을 확인했다. 우리는 평균값과 표준편차를 고려하여 12개의 단어를 최대 벡터화 대상 단어로 선정하여 진행하였다.
- 이 정보는 양방향 장단기 메모리 신경망의 입력값으로 사용한다. 이 논문에서는 3.2.1 형태소 분석결과 16,403개 보다 큰 수를 샘플(단어)의 수로 사용한다. 입력 문장의 길이는 3.
- 1 형태소 분석결과 16,403개 보다 큰 수를 샘플(단어)의 수로 사용한다. 입력 문장의 길이는 3.1 데이터 수집에서 문장 길이 최댓 값이 400자이고, 평균이 24.2자, 표준편차 27.3자 로 최댓값과 대푯값과의 편차가 매우 크서 최댓값의 절반 값인 200을 입력 문장의 길이로 선정하였다. 출력 차원은 양방향 장단기 메모리 신경망의 입력값으로 128크기로 설정하였다.
- 전체 가중치(weight)를 모두 계산하는 것이 아니라 층(layer)에 포함된 가중치 중 일부만 참여시키는 방법이다. 우리는 0.2즉 10개 중 2개를 사용하였다. 첫 번째 밀집 층에서는 총 64개의 출력을 하게 되고 활성 함수로는 렐루(reLu)를 사용하였다.
- 2즉 10개 중 2개를 사용하였다. 첫 번째 밀집 층에서는 총 64개의 출력을 하게 되고 활성 함수로는 렐루(reLu)를 사용하였다. 두 번째 밀집 층에서는 1개의 출력 값을 가지고 활성 함수는 시그모이드(sigmoid)를 사용하였다.
- 첫 번째 밀집 층에서는 총 64개의 출력을 하게 되고 활성 함수로는 렐루(reLu)를 사용하였다. 두 번째 밀집 층에서는 1개의 출력 값을 가지고 활성 함수는 시그모이드(sigmoid)를 사용하였다. 손실 함수(loss function)는 시그모이드 교차 엔트로피 손실(sigmoid cross-entropy loss)라고도 불리는 이진 교차 엔트로피 손실(binary cross-entory loss) 함수를 사용하였다.
- 3.1 데이터 수집에서 획득된 욕설 댓글 2,089개와 욕설이 아닌 댓글 7,199개로 구성된 총 9,288개에 대해 무작위로 7,430개는 훈련과 검증에 사용하고, 1,858개는 테스트에 사용하였다.
- 1 데이터 수집에서 획득된 욕설 댓글 2,089개와 욕설이 아닌 댓글 7,199개로 구성된 총 9,288개에 대해 무작위로 7,430개는 훈련과 검증에 사용하고, 1,858개는 테스트에 사용하였다. 훈련 및 테스트에 사용된 컴퓨터는 cpu는 인텔 i9, 메모리는 64G, GPU는 Nvidia RTX 2080 ti를 사용하였다. 운영체제 는 윈도우즈 10을 사용하였고, 주용 사용 언어와 패키지는 아나콘다 3.
데이터처리
- 데이터의 검증을 위해 K-폴드 교차 검증을 시행한다.
이론/모형
- 코드북 단어 사전의 한국어 형태소 분석을 위하여, 자연어처리(NLP:Natural Language Processing) 분야에서 널리 사용되고 속도가 빠른 KoNLPy[3,4] 의 Okt(구. Twitter)를 사용한다. KoNLPy는 JAVA, C++ 등으로 구현된 형태소 분석기들을 모아 파이썬에서 사용할 수 있게 만든 오픈 패키지다.
- 두 번째 밀집 층에서는 1개의 출력 값을 가지고 활성 함수는 시그모이드(sigmoid)를 사용하였다. 손실 함수(loss function)는 시그모이드 교차 엔트로피 손실(sigmoid cross-entropy loss)라고도 불리는 이진 교차 엔트로피 손실(binary cross-entory loss) 함수를 사용하였다. 이 손실 함수는 시그모이드 활성화와 교차 엔트로피 손실로 구성되어, 소프트맥스(softmax)손실과 달리 각 벡터 구성요소에 대해 독립적이고, 모든 벡터 구성요소에 대해 계산된 손실이 다른 구성 요소 값의 영향을 받지 않는 특징을 가지고 있다.
- 이 손실 함수는 시그모이드 활성화와 교차 엔트로피 손실로 구성되어, 소프트맥스(softmax)손실과 달리 각 벡터 구성요소에 대해 독립적이고, 모든 벡터 구성요소에 대해 계산된 손실이 다른 구성 요소 값의 영향을 받지 않는 특징을 가지고 있다. 최적기(optimizer)는 단계(step)의 크기가 경사도(gradient)의 크기조정(rescaling)에 영향을 받지 않는 아담 최적기 (adam’s optimizer)를 사용하였다.
- 데이터의 수가 적은 경우에는 훈련데이터를 많이 사용하게 되면, 검증 데이터도 전체 데이터의 일부이다 보니, 검증할 수 있는 데이터의 수가 적게 되고, 검증 데이터가 적기 때문에 검증의 신뢰도가 떨어지게 된다. 이렇게 학습할 데이터 수가 적은 경우, 과소적합 학습이 될 확률이 늘어나는 현상을 해결하기 위해 K-폴드 교차 검증(K-fold cross validation) 방법을 사용한다. 전체 원본 데이터가 {1,2,3,4}가 있다면 4를 제외한 {1,2,3}을 훈련시키고 4를 가지고 검증하고, 다시 {1,2,4}를 훈련시키고 3을 가지고 k번만큼 반복 후 평균을 구하여 검증하는 방식이다.
성능/효과
- 양방향 장단기 메모리 신경망을 사용하기 위해 검출된 댓글에 대해 형태소 분석과 벡터화 과정을 거쳤으며 각 단어들에 욕설 해당 여부를 라벨링하여 진행하였다. 실험 결과 정제하고 수집된 총 9,288개의 댓글에 대해 88.79%의 성능을 나타내었다. 제안 시스템은 새롭게 발생하는 신조 욕설과 인위적 변형 욕설 등이 계속 발생하게 되면 일일이 추가하고 훈련 한 다는 한계점이 있다.
- 수집된 댓글의 특성에 대해 그림 7 (a), (b)와 같이 상자 수염 그림(box plot)과 로그 히스토그램 분석을 하였다. 분석 결과 댓글의 길이 최댓값은 400자, 최솟값은 1자, 평균 댓글의 길이는 24.2자, 표준 편차는 27.3자, 중간값은 17.0자, 제1사분위는 8.0자, 제3사분위는 30.0자이다.
- 테스트 결과 욕설 검출 결과는 아래 표 3과 그림 16에서 보여지는 것과 같다. K-폴드 교차분석에 사용된 욕설 1,671개와 비욕설 5,759개로 구성된 댓글 7,430개를 훈련데이터 사용하고, 훈련에 사용되지 않은 욕설 418개, 비욕설 1,440개로 구성된 댓글 1,858개를 테스트 데이터로 사용하여 욕설 검출 정확도를 측정한 결과 88.79%를 나타냈다.
후속연구
- 79%의 성능을 나타내었다. 제안 시스템은 새롭게 발생하는 신조 욕설과 인위적 변형 욕설 등이 계속 발생하게 되면 일일이 추가하고 훈련 한 다는 한계점이 있다. 비록 이 논문에서 양방향 장단기 메모리 신경망을 이용하여 전･후 단어의 관계성을 분석하였지만, 반어법 등과 같이 언어적 특성에 따른 내용은 검출하지 못하는 한계점 역시 존재한다.
- 제안 시스템은 새롭게 발생하는 신조 욕설과 인위적 변형 욕설 등이 계속 발생하게 되면 일일이 추가하고 훈련 한 다는 한계점이 있다. 비록 이 논문에서 양방향 장단기 메모리 신경망을 이용하여 전･후 단어의 관계성을 분석하였지만, 반어법 등과 같이 언어적 특성에 따른 내용은 검출하지 못하는 한계점 역시 존재한다. 향후 문장 내의 감정 등 어감에 대한 정보를 추가하여 분석하게 된다면 제안 방법의 한계점들을 보완할 수 있을 것으로 사료된다.
- 비록 이 논문에서 양방향 장단기 메모리 신경망을 이용하여 전･후 단어의 관계성을 분석하였지만, 반어법 등과 같이 언어적 특성에 따른 내용은 검출하지 못하는 한계점 역시 존재한다. 향후 문장 내의 감정 등 어감에 대한 정보를 추가하여 분석하게 된다면 제안 방법의 한계점들을 보완할 수 있을 것으로 사료된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.