선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 의미적으로 유사한 성질을 학습하기 위해서는 의미적으로 동일한 문장 쌍의 형태로 학습 데이터가 구성되어야 하지만, 이러한 데이터를 대량으로 확보하기는 쉽지 않다. 본 논문에서는 네이버의 대표적인 cQA 서비스인 지식iN에서 질문 제목과 질문 내용 데이터를 이용함으로써 이러한 한계를 극복하였다. 사용자들이 질문을 작성할 때, 질문 내용을 대표할 수 있는 문장으로 질문 제목을 작성한다.
- 본 논문에서는 의미 매칭 모델링을 위한 대량의 학습 데이터를 구축하기 위하여 지식iN cQA 셋에서 질문 제목과 내용을 이용하는 방법을 제안하였다. 질문 제목과 내용을 각각 의미 벡터 공간으로 사상한 후, 이들의 거리를 가깝게 되도록 학습함으로써 의사 의미 연결고리를 부여하였다.
- 본 논문에서는 질문 자체에 대한 벡터 표현(representation)을 추출함으로써 각 질문간의 벡터 거리 계산만으로 최종 유사도를 결정할 수 있도록 하였다. 또한, pre-trained 된 word vector의 일부만 학습하고 일부는 고정한 채 사용하는 semi-training wordembedding과 CNN을 결합하여 의미적인 연결을 더 강화할 수 있도록 하였다.
- 하지만, 이러한 데이터를 구축하기 위해서는 상당한 시간과 비용이 발생한다. 본 논문에서는 질문이 제목과 내용으로 구성된 지식iN 데이터를 이용하여 이러한 한계점을 극복하였다. 그림 1과 같이 질문 제목은 질문 내용에 대해 어느 정도의 대표성을 지닌다고 볼 수 있기 때문에, 이들을 의사유사 문장 쌍으로 간주하였다.
제안 방법
- • BM25 : 학습셋으로 BM25 모델을 구축하고, 평가 질문과 지식iN 질문간의 BM25 score 를 계산한 후 가장 높은 질문들을 추출하였다.
- • avg-emb : pre-trained 된 word vector에 대해, 평가 질문의 단어 벡터 평균과 지식iN 질문의 단어 벡터 평균의 유사도를 비교하여 가장 score 가 높은 질문들을 추출하였다.
- • emb_600+CNN : 제안 모델과 동일한 파라미터 개수로 비교하기 위하여 600 차원의 word vector를 설정하여 임의의 값으로 초기화 한 후 의미 매칭 모델 학습시에 같이 학습하였다.
- 의미 매칭 모델(SWECNN). Pre-trained word embedding 두 개 중 하나는 고정하고(fix), 다른 하나는 fine-tuning(train)하였다. Word embedding 된 값을 convolutional 연산을 이용하여 feature map 을 추출하고, 이를 max-over-time pooling 을 이용하여, 가장 높은 특징 값들을 추출하였다.
- ReLU 함수 적용 후 max-over-time pooling을 통해 가장 중요한 활성값(activation value) 만 남기도록 하였고, 4 종류의 filter 별로 300차원의 feature를 추출하였다. 추출된 각 feature들을 모두 인접시키고 1개의 fullyconnected layer를 연결하여 최종적인 300 차원의 semantic 질문 벡터를 추출하였다 (그림 2).
- Pre-trained word embedding 두 개 중 하나는 고정하고(fix), 다른 하나는 fine-tuning(train)하였다. Word embedding 된 값을 convolutional 연산을 이용하여 feature map 을 추출하고, 이를 max-over-time pooling 을 이용하여, 가장 높은 특징 값들을 추출하였다. 마지막으로 fullyconnected layer를 통해 의미 벡터를 추출하였다.
- 또한 질문간의 번역 확률로서 유사도를 계산하는 번역 기반모델과 질문들 간의 topic정보를 사용하는 topic model방법들이 연구 되었다. [3, 4]는 knowledge base로 Wordnet [5]사전과 TF-IDF를 활용한 vector space model을 이용해 질문과 질문간의 유사도를 계산하였다. [6]에서는 단어와 단어 단위, [7]에서는 구문과 구문 단위 번역 모델을 이용하여 질문 간의 유사도를 계산하였다.
- 의미 벡터 유사도를 이용한 검색방법으로는 Approximate Nearest Neighbor [19] 검색을 이용하였다. 검색결과 평가를 위하여 서로 상의하지 않은 세 명의 평가자가 평가 질문과 검색된 질문이 의미적으로 유사한지 아닌지 각각 판단을 하였다. 각 샘플은 최소 두 명의 동의를 받은 결과를 최종 결과로 간주하였다.
- 그리고 각 질문들을 weight 를 공유[15]하는 CNN 의 입력으로 사용하여 각 질문의 의미 벡터 yTitle 과 yBody+/− 를 추출하였다.
- 그리고 질문 제목과 positive 질문 내용의 유사도 𝑆𝑆(QTitle, QBody+) 를 높게, 질문 제목과 negative 질문 내용의 유사도S(QTitle, QBody−)를 낮게 학습하였다 (그림 3).
- 그리고, QTitle 과 positive QBody+ 의 벡터 유사도는 높게, QTitle 과 negative QBody− 의 벡터 유사도는 낮게 학습함으로써, 의미 정보를 내재화하였다.
- 그림 1과 같이 질문 제목은 질문 내용에 대해 어느 정도의 대표성을 지닌다고 볼 수 있기 때문에, 이들을 의사유사 문장 쌍으로 간주하였다. 그리고, 이들의 의미 공간 내 거리를, 질문 제목과 다른 임의의 질문 내용간의 거리보다 상대적으로 더 가깝게 되도록 학습함으로써 의미적인 연결고리를 부여하였다. 즉, 질문 제목에 대해 같은 쌍인 질문 내용을 positive sample로 설정하였고, 같은 쌍이 아닌 임의의 질문 내용을 negative sample로 설정하였다.
- 그림 2와 같이 Semi-training Word Embedding 과 CNN을 이용한 SWECNN 의미 매칭 모델을 구성하였다. CNN 의 입력으로 질문의 각 단어 별 embedding vector xi 를 사용하였고, convolution 연산을 위해 filter w ∈ Rℎ×600를 사용하였다.
- Word embedding 된 값을 convolutional 연산을 이용하여 feature map 을 추출하고, 이를 max-over-time pooling 을 이용하여, 가장 높은 특징 값들을 추출하였다. 마지막으로 fullyconnected layer를 통해 의미 벡터를 추출하였다.
- 본 논문에서는 질문 제목 QTitle 과 같은 쌍인 질문 내용 QBody+ 를 positive sample 로, 질문 제목과 같은 쌍이 아닌 임의의 질문 내용 QBody− 를 negative sample로 사용하였다.
- 제목과 내용을 semi-training word embedding 과 CNN(Convolutional Neural Network) [1, 2] 을 이용하여 의미적 벡터 공간으로 사상하고, 이들을 벡터 공간상의 가까운 곳에 위치하게 함으로써 이러한 의미적 연결고리를 부여하였다. 새로운 질문이 주어지면 이를 DB에 저장된 질문들과 함께 의미적 벡터 공간으로 사상하여 벡터 유사도를 계산함으로써 질문 검색을 수행하였다. 본 논문의 실험 결과 키워드 매칭 기반 검색보다 딥러닝을 통해 의미 벡터 공간으로 사상 후 검색하는 방법이 더 좋은 결과를 얻을 수 있었다.
- 질문 제목과 내용을 각각 의미 벡터 공간으로 사상한 후, 이들의 거리를 가깝게 되도록 학습함으로써 의사 의미 연결고리를 부여하였다. 의미 벡터 추출로는 Semi-training Word Embedding과 CNN(SWECNN)을 이용하는 딥러닝 모델을 제안하였다. 모델 별 비교 실험결과 SWECNN이 가장 좋은 성능을 보임을 확인할 수 있었다.
- 예를 들어, 그림 1과 같이 질문 제목에는 “하복부 통증” 이라는 문구가 질문 내용에서 “아랫배가 아픈데” 라는 문구와 연결이 되어 있는 것을 볼 수 있다. 제목과 내용을 semi-training word embedding 과 CNN(Convolutional Neural Network) [1, 2] 을 이용하여 의미적 벡터 공간으로 사상하고, 이들을 벡터 공간상의 가까운 곳에 위치하게 함으로써 이러한 의미적 연결고리를 부여하였다. 새로운 질문이 주어지면 이를 DB에 저장된 질문들과 함께 의미적 벡터 공간으로 사상하여 벡터 유사도를 계산함으로써 질문 검색을 수행하였다.
- 그리고, 이들의 의미 공간 내 거리를, 질문 제목과 다른 임의의 질문 내용간의 거리보다 상대적으로 더 가깝게 되도록 학습함으로써 의미적인 연결고리를 부여하였다. 즉, 질문 제목에 대해 같은 쌍인 질문 내용을 positive sample로 설정하였고, 같은 쌍이 아닌 임의의 질문 내용을 negative sample로 설정하였다. negative sample은 질문 제목 당 4개를 사용하였다.
- 사용자들이 질문을 작성할 때, 질문 내용을 대표할 수 있는 문장으로 질문 제목을 작성한다. 질문 제목과 내용은 완벽하게 동일한 의미는 아니지만 제목이 내용에 대한 대표성을 띠고 있기 때문에 의사(pseudo) 유사 문장으로 간주하고, 이들의 유사도를 높게 학습함으로써 의미적인 성질을 부여하였다. 예를 들어, 그림 1과 같이 질문 제목에는 “하복부 통증” 이라는 문구가 질문 내용에서 “아랫배가 아픈데” 라는 문구와 연결이 되어 있는 것을 볼 수 있다.
- 본 논문에서는 의미 매칭 모델링을 위한 대량의 학습 데이터를 구축하기 위하여 지식iN cQA 셋에서 질문 제목과 내용을 이용하는 방법을 제안하였다. 질문 제목과 내용을 각각 의미 벡터 공간으로 사상한 후, 이들의 거리를 가깝게 되도록 학습함으로써 의사 의미 연결고리를 부여하였다. 의미 벡터 추출로는 Semi-training Word Embedding과 CNN(SWECNN)을 이용하는 딥러닝 모델을 제안하였다.
- negative sample은 질문 제목 당 4개를 사용하였다. 질문 제목과 질문 내용이 연관이 없는 내용을 가지고 있는 경우를 필터링 하기 위하여 질문 제목과 질문 내용의 교집합 단어의 개수가 질문 제목 단어 개수의 절반이 안되는 샘플들은 제거하였다.
- 본 논문에서는 네이버의 대표적인 커뮤니티 기반의 질의응답 시스템인 지식iN 데이터를 이용하여 의미적 질문 검색 모델을 구성하였다. 질문을 의미 공간으로 사상하기 위하여 Semi-training Word Embedding과 CNN(SWECNN)을 이용하였고, 질문 제목과 질문 내용의 벡터 유사도를 높게 학습함으로써 의미적인 연결고리를 부여하였다.
- [11]은 CNN 과 Bag-of-words의 도합으로 유사 질문을 검색하였다. 질의와 질문을 CNN 을 통해 feature 를 추출하고, 이들을 결합한 후 추가적인 MLP(Multi Layer Perceptron)를 통해 유사도를 계산하였다. [12]에서는 RNN(Recurrent Neural Network)의 기법중 하나인 LSTM(Long Short-Term Memory) 을 통해 질문과 답변의feature 를 추출하고, 전통적인 자연어 기반 feature를 결합하여 추가적인 MLP를 통해 유사도를 계산하였다.
- ReLU 함수 적용 후 max-over-time pooling을 통해 가장 중요한 활성값(activation value) 만 남기도록 하였고, 4 종류의 filter 별로 300차원의 feature를 추출하였다. 추출된 각 feature들을 모두 인접시키고 1개의 fullyconnected layer를 연결하여 최종적인 300 차원의 semantic 질문 벡터를 추출하였다 (그림 2).
- 표 2 는 제안된 모델과 다른 모델간의 비교 샘플이다. 평가 질문 1에서는 BM25를 이용한 키워드 매칭 방법과 의 비교이다. BM25는 '아픈데', '어느 병원으로 가야 하나요' 등의 단순 키워드를 이용하여 검색을 하였지만, 검색된 질문은 평가 질문과 의미적으로 큰 차이를 보였다.
대상 데이터
- 본 논문에서 사용한 모델의 효과를 검증하기 위하여 약 230만건의 지식iN 질문-답변 문서를 추출하고, 실제 사용자들이 수행하였던 질문들 중 임의의 200건에 대하여 얼마나 의미적으로 동일한 질문을 가진 문서들이 검색되는지 실험하였다. 의미 벡터 유사도를 이용한 검색방법으로는 Approximate Nearest Neighbor [19] 검색을 이용하였다.
- h는 convolution 연산의 window 사이즈이고, window 만큼의 word embedding vector 가 filter와의 연산을 통해 한 개의 feature 로 추출된다. 본 논문에서는 2, 3, 4, 5 의 window 크기를 갖는 4 종류의 filter 를 각 300개씩 사용하였다. Convolution 연산 후에는 vanishing gradient 에 좋은 효과를 보이는 Rectified linear unit (ReLU) fReLU를 non-linear 함수로 사용하였다[15].
- 본 논문에서는 네이버의 대표적인 커뮤니티 기반의 질의응답 시스템인 지식iN 데이터를 이용하여 의미적 질문 검색 모델을 구성하였다. 질문을 의미 공간으로 사상하기 위하여 Semi-training Word Embedding과 CNN(SWECNN)을 이용하였고, 질문 제목과 질문 내용의 벡터 유사도를 높게 학습함으로써 의미적인 연결고리를 부여하였다.
데이터처리
- 예를 들어, 특정 샘플에 대해 두 명의 평가자가 ‘유사하다’ 고 판단하고, 다른 한 명의 평가자는 ‘유사하지 않다’ 라고 판단했을 경우, 해당 샘플은 ‘유사하다’로 최종 판단 하였다. 모델 별 평가 기준으로는 P@K (Precision at K) 를 사용하였다. 본 논문에서 사용한 신경망 모델과의 비교를 위하여 BM25 와 pre-trained word vector 들의 평균값(avg-emb)을 baseline 으로 이용하였다.
- 모델 별 평가 기준으로는 P@K (Precision at K) 를 사용하였다. 본 논문에서 사용한 신경망 모델과의 비교를 위하여 BM25 와 pre-trained word vector 들의 평균값(avg-emb)을 baseline 으로 이용하였다. 추가적으로 제안 모델에서 사용한 semitraining word embedding 방법에 대한 효과 검증을 위하여 emb_300fix, emb_300train, emb_600 의 방법과 비교를 하였다.
- 본 논문에서 사용한 신경망 모델과의 비교를 위하여 BM25 와 pre-trained word vector 들의 평균값(avg-emb)을 baseline 으로 이용하였다. 추가적으로 제안 모델에서 사용한 semitraining word embedding 방법에 대한 효과 검증을 위하여 emb_300fix, emb_300train, emb_600 의 방법과 비교를 하였다. emb_300fix, emb_300train 그리고 emb_600 의 경우 제안 모델에 대한 word embedding layer 의 변형된 모델이고 word embedding 이후의 CNN 및 fully-connected layer 의 아키텍쳐는 동일하다.
- 제안 모델은 '발바닥' 에 대하여 '아픈데' 와 '통증' 을 의미적으로 연결하였다. 평가 질문 2에서는 avgemb모델과 비교하였다. avg-emb 는 단순 word embedding 만을 사용했기 때문에, 신체 일부인 '겨드랑이' 와 '팔' 이 가깝게 매칭 되었고 검색된 질문은 평가 질문과 의미가 일치하지 않는다.
이론/모형
- 본 논문에서는 2, 3, 4, 5 의 window 크기를 갖는 4 종류의 filter 를 각 300개씩 사용하였다. Convolution 연산 후에는 vanishing gradient 에 좋은 효과를 보이는 Rectified linear unit (ReLU) fReLU를 non-linear 함수로 사용하였다[15].
- Loss 함수에 대한 gradient를 구하기 위해 backpropagation[17]을 이용했고, Stochastic Gradient Descent 방법 중 하나인 RMSProp [18]으로 모델 파라미터들을 학습하였다.
- 그림 3. Weight-shared network 을 이용한 시맨틱 매칭 모델의 학습. 질문 제목과 질문 내용의 word vector 를 weight 를 공유하는 CNN 의 입력으로 하여, 각 질문의 semantic vector 를 추출한다.
- Word embedding 을 이용하기 위해 별도의 코퍼스를 구축하였고, GloVe [13] 방법을 이용하여 300차원의 word embedding vector 를 학습하였다. 이렇게 학습된 동일한 word embedding vector 두 개를 식 (1) 과 같이 연결하여 semantic matching model 의 입력으로 사용하였다.
- [16]과 같이, 질문 제목과 positive 질문 내용의 상대적 유사도를 식 (4)의 softmax 함수를 이용하여 posterior 확률로 간주하였다.
- 본 논문에서 사용한 모델의 효과를 검증하기 위하여 약 230만건의 지식iN 질문-답변 문서를 추출하고, 실제 사용자들이 수행하였던 질문들 중 임의의 200건에 대하여 얼마나 의미적으로 동일한 질문을 가진 문서들이 검색되는지 실험하였다. 의미 벡터 유사도를 이용한 검색방법으로는 Approximate Nearest Neighbor [19] 검색을 이용하였다. 검색결과 평가를 위하여 서로 상의하지 않은 세 명의 평가자가 평가 질문과 검색된 질문이 의미적으로 유사한지 아닌지 각각 판단을 하였다.
성능/효과
- 기존 키워드 매칭 검색 방법인 BM25의 경우 가장 좋지 않은 성능을 보였고, 본 논문의 제안 모델과는 큰 성능 차가 있었다. word embedding과 CNN을 통해 의미 벡터 공간으로 질문을 사상한 후 검색하는 방법이 키워드 매칭 방법보다 탁월함을 알 수 있었다. 또한 word embedding의 단순 평균만을 이용했던 avg-emb 도 BM25 보다는 좋은 결과를 얻을 수 있었다.
- 이는 단순 word embedding만으로도 각 단어가 내포하고 있는 의미를 잘 표현해줄 수 있다고 볼 수 있다. 그리고 word embedding 을 처음부터 학습하는 emb_600 보다는 pre-trained word embedding 과 CNN을 결합한 방법들이 더 좋은 성능을 보였다. 이는 pre-trained word embedding 이 의미 매칭학습 데이터에서 얻지 못한 단어 별 의미 정보를 보유하고 있기 때문으로 분석이 된다.
- 의미 매칭 모델의 비교 평가 결과는 표 1 과 같다. 기존 키워드 매칭 검색 방법인 BM25의 경우 가장 좋지 않은 성능을 보였고, 본 논문의 제안 모델과는 큰 성능 차가 있었다. word embedding과 CNN을 통해 의미 벡터 공간으로 질문을 사상한 후 검색하는 방법이 키워드 매칭 방법보다 탁월함을 알 수 있었다.
- word embedding과 CNN을 통해 의미 벡터 공간으로 질문을 사상한 후 검색하는 방법이 키워드 매칭 방법보다 탁월함을 알 수 있었다. 또한 word embedding의 단순 평균만을 이용했던 avg-emb 도 BM25 보다는 좋은 결과를 얻을 수 있었다. 이는 단순 word embedding만으로도 각 단어가 내포하고 있는 의미를 잘 표현해줄 수 있다고 볼 수 있다.
- 의미 벡터 추출로는 Semi-training Word Embedding과 CNN(SWECNN)을 이용하는 딥러닝 모델을 제안하였다. 모델 별 비교 실험결과 SWECNN이 가장 좋은 성능을 보임을 확인할 수 있었다.
- 모델 비교 실험 결과, 질문 제목과 내용을 이용하는 의사 의미 학습에는 pre-trained word embedding 이 중요하며, 그 중 제안 모델에서 이용하는 semi-training word embedding 의 성능이 탁월함을 확인 할 수 있었다.
- emb_300fix 와 emb_300train의 비교 결과는 큰 차이는 없으나 emb_300train 이 근소하게 높은 성능을 보였다. 본 논문에서 제안한 SWECNN 모델이, P@1 기준 51.5%로 다른 비교 모델들보다 가장 우수한 결과를 보임을 확인할 수 있었다.
- 새로운 질문이 주어지면 이를 DB에 저장된 질문들과 함께 의미적 벡터 공간으로 사상하여 벡터 유사도를 계산함으로써 질문 검색을 수행하였다. 본 논문의 실험 결과 키워드 매칭 기반 검색보다 딥러닝을 통해 의미 벡터 공간으로 사상 후 검색하는 방법이 더 좋은 결과를 얻을 수 있었다.
후속연구
- 향후 연구로는, 단어 단위 데이터와 음절 또는 자소 단위의 데이터도 함께 이용함으로써 Out-of-vocabulary의 한계를 극복하고자 한다. 또한, 카테고리와 같은 부가 정보를 추가적으로 이용한다면 더 정밀한 질문 검색을 할 수 있을 것이다.
- 향후 연구로는, 단어 단위 데이터와 음절 또는 자소 단위의 데이터도 함께 이용함으로써 Out-of-vocabulary의 한계를 극복하고자 한다. 또한, 카테고리와 같은 부가 정보를 추가적으로 이용한다면 더 정밀한 질문 검색을 할 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.