선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
제안 방법
- GRU(Gated Recurrent Unit) 방법은 LSTM의 망각 게이트와 입력 게이트를 하나의 업데이트 게이트(update gate)로 통일하고 출력 게이트 대신에 리셋 게이트(reset gate)를 추 가하였다[15]. LSTM과 마찬가지로 그라디언트 소실 문제를 해결함과 동시에 게이트를 일부 생략함으로써 계산량을 낮춘 셀의 구조다.
- [8], [20]에서는 합성곱 신경망 대신 LSTM (Long-Short Term Memory) 알고리즘과 word2vec 모델을 적용하여 문서 분류를 수행하였다. LSTM을 사용하여 긴 시퀀스의 입력에도 과거의 입력을 이용하여 효과적인 문서 분류가 가능하게 하였다. 그러나 문장을 하나의 벡터로 표현하지 못하였고 GRU에 비해 학습 시간이 오래 걸린다는 단점이 있다.
- doc2vec에서 표현되는 문서의 특징 벡터 크기에 따른 실험 성능을 알아보기 위해 50, 100, 200, 300으로 설정하여 실험하였다. 데이터는 ‘AG News’를 사용하였고 분류기를 GRU로 사용하여 실험한 결과 Fig.
- [5]의 연구에서는 감정 자질의 효과적인 추출 방법과 추출된 감정의 가중치를 강화한 한국어 문서 감정 분류 방법을 제시하였다. 먼저 감정 자질 추출을 위해 영어 단어 유의어 정보를 이용하여 자질들을 확장하였고, 영한사전을 통해 확장된 자질들을 번역하여 감정 자질들 추출한다. 추출된 감정 자질로 카이 제곱 통계량을 통해 감정 강도를 구한다.
- word2vec을 이용하여 단어를 벡터로 표현하고 이 단어벡터를 doc2vec에 문서 아이디와 함께 입력하여 문서 벡터를 생성한다. 문서 벡터를 RNN의 GRU 분류기에 입력으로 사용해 정확도(Accuracy)를 구하여 성능을 평가하였다. GRU의 문서벡터 입력차원은 실험을 통해 가장 높은 정확도를 보이는 100차원으로 결정하였다.
- 한 문서는 동사, 명사, 조사, 형용사, 부사 등 다양한 품사 Description 로 구성되어있지만 모든 품사를 문서의 특징으로 사용하면 불필요한 정보가 다수 포함된다. 본 논문에서는 명사를 문서의 주요 특징으로 보고 형태소 분석을 통해 명사만을 추출한다. 추출된 명사 중에서도 다수의 문서에서 출현하는 단어는 문서간의 분별력을 낮추기 때문에 제거한다.
- 본 논문에서는 문서 내의 단어의 의미와 순서를 문서 벡터로 표현하기 위해 단어의 의미와 문맥을 고려하는 word2vec 과 doc2vec을 이용하여 문서를 표현하고, 순환 신경망 분류기를 이용하여 문서를 분류하는 방법을 제안한다. 전체적인 시스템 구조도는 Fig.
- ’와 같은 문장에서 ‘쇼트트랙’이라는 단어가 입력 데이터로 주어진 다면 ‘국내’, ‘훈련’이라는 단어를 출력 데이터로 학습시킨다. 본 논문에서는 입력층(Input layer)에 주어진 단어들을 원핫 인코딩(one-hot encoding) 방식으로 입력한다. 원핫 인코딩 방식은 단어를 하나의 1의 값을 갖는 비트와 0의 값을 갖는 나머지 비트로 이루어진 것을 말한다.
- 본 논문에서는 형태소 분석을 통해 문서에서 명사만을 추출하였다. 그러나 문맥을 이해하기 위해서는 명사뿐만 아니라 형용사나 동사같은 주요 품사도 필요하다.
- 최종적으로 학습이 끝나면 추가적으로 입력했던 문서 아이디가 문서용 벡터가 된다. 본 연구에서는 word2vec에서 일반적으로 성능이 더 우수하다고 평가되는 word2vec의 스킵그램 방식과 doc2vec의 DM 모델을 통해 문서를 벡터로 표현한다[13].
- 실험의 학습 반복 수(epoch)에 따른 실험 성능을 알아보기 위해 10, 30, 50, 70, 90으로 설정하여 ‘AG News’ 데이터에 대해 GRU를 사용하였다.
대상 데이터
- ‘AG news’는 총 127,600개의 신문기사를 모은 것으로 4개의 범주로 분류되어 있다. 각 범주에는 31,900개의 문서가 존재한다. Table 6은 실험에 사용된 데이터 집합의 설명이다.
- 실험을 위해 형태소 분석은 파이썬의 Konlpy[18] 라이브러리에서 twitter 패키지를 사용하여 실시하였고 DF(Document Frequency)를 추출하여 빈도수가 50%가 넘는 어절은 불용어로 처리하였다. 데이터의 90%를 훈련데이터로 사용하고 10%를 테스트 데이터로 사용하였다. word2vec을 이용하여 단어를 벡터로 표현하고 이 단어벡터를 doc2vec에 문서 아이디와 함께 입력하여 문서 벡터를 생성한다.
- 본 논문에서 분류시스템의 학습과 분류 실험을 위하여 사용된 데이터는 ‘한국일보 20000[10]’ (HKIB-20000), ‘20-news[16]’, ‘AG news[17]’이다.
- ‘20-news’는 영문으로 작성되었고 18,828개의 신문기사가 주제별로 20개의 범주로 분류되어있다. 실험 비교를 위해 범주의 경계가 확실히 구분되는 12개의 범주만을 사용하였다. 다음 Table 5는 실험에 사용된 문서 범주와 해당 문서 개수를 보여준다.
데이터처리
- 먼저 감정 자질 추출을 위해 영어 단어 유의어 정보를 이용하여 자질들을 확장하였고, 영한사전을 통해 확장된 자질들을 번역하여 감정 자질들 추출한다. 추출된 감정 자질로 카이 제곱 통계량을 통해 감정 강도를 구한다. 마지막으로 긍정 문서에서는 긍정 감정 자질만 강화하고 부정 문서에서는 부정 감정 자질만 강화하여 서포터 벡터 머신으로 분류한다.
이론/모형
- RNN 분류기를 통해 다른 모델과 비교하여 성능이 향상된 것을 확인하였다. RNN 분류 모델 중에서도 과거의 입력들을 장기간 기억하면서 그라디언트 소실 문제를 해결해주고 계산량을 줄여주는 GRU모델을 사용하였다. 실험 결과 CNN 분류모델보다 GRU 모델에서 약 3.
- word2vec에는 스킵그램(Skip-gram)과 CBOW (Continuous Bag of Words) 두 가지 방식이 있는데 본 논문에서는 스킵 그램 방식을 이용한다. 스킵그램은 하나의 단어를 통해 주위의 다른 단어들을 유추하는 방법이다.
- 본 논문에서는 문서분류 성능을 향상시키기 위해 딥 러닝 기반의 색인 방법과 분류 모델을 사용하였다. 단어의 빈도기반 문서 벡터 표현 방법인 Tf-iDf 방식의 단점을 해결하는 방법인 단어의 의미와 문맥을 고려할 수 있는 word2vec과 doc2vec을 사용하여 문서를 벡터로 색인하였다. RNN 분류기를 통해 다른 모델과 비교하여 성능이 향상된 것을 확인하였다.
- 본 논문에서는 문서 분류를 위해 순환 신경망(RNN) 중 GRU를 사용한다. RNN의 기본 구조는 Fig.
- 본 논문에서는 문서분류 성능을 향상시키기 위해 딥 러닝 기반의 색인 방법과 분류 모델을 사용하였다. 단어의 빈도기반 문서 벡터 표현 방법인 Tf-iDf 방식의 단점을 해결하는 방법인 단어의 의미와 문맥을 고려할 수 있는 word2vec과 doc2vec을 사용하여 문서를 벡터로 색인하였다.
- 결과적으로 CBOW와 스킵그램은 같은 작업을 거치고 비슷한 단어 벡터를 생성하게 된다. 본 논문에서는 일반적으로 성능이 더 우수하다고 알려진 스킵그램 방식을 이용하여 문서를 벡터로 표현한다[13].
- 본 논문에서는 효율적인 문서 색인을 위해 word2vec과 doc2vec을 사용한다. word2vec을 사용해 일반적인 Tf-iDf 방식보다 단어를 의미 있게 표현하고 doc2vec을 통해 문맥을 고려하여 문서를 벡터로 표현한다.
- Table 9는 word2vec과 doc2vec이 문서의 특징을 얼마나 잘 보여주는지 알기 위해 다른 자질들과 비교 실험한 것을 보여준다. 분류기는 GRU 모델을 사용하였다. 성능 평가 모델은 Equation (16)과 같은 정확도와 F1-measure로 측정하였다.
- 분류기는 GRU 모델을 사용하였다. 성능 평가 모델은 Equation (16)과 같은 정확도와 F1-measure로 측정하였다.
- 실험을 위해 형태소 분석은 파이썬의 Konlpy[18] 라이브러리에서 twitter 패키지를 사용하여 실시하였고 DF(Document Frequency)를 추출하여 빈도수가 50%가 넘는 어절은 불용어로 처리하였다. 데이터의 90%를 훈련데이터로 사용하고 10%를 테스트 데이터로 사용하였다.
- word2vec을 사용해 일반적인 Tf-iDf 방식보다 단어를 의미 있게 표현하고 doc2vec을 통해 문맥을 고려하여 문서를 벡터로 표현한다. 추출된 특징 벡터를 분류하기 위해 순환신경망(RNN)을 사용한다. RNN은 일반적인 신경망 학습에서 기억능력을 추가하여 그 전의 입력들까지 기억하는 방식으로 자연어 처리 분야에서 널리 사용되고 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.