[논문]Self-Attention 기반의 문장 임베딩을 이용한 효과적인 문장 유사도 기법 기반의 FAQ 시스템

김보성; 김주애; 이정엄; 김선아; 고영중; 서정연

문제 정의

예를 들어 ‘네비게이션’과 ‘내비게이션’ 두 단어는 의미상 동일하지만 별개로 색인(index)되어 벡터간 유사도 계산 시 두 단어의 관련성이 반영되지 않는다. 따라서 본 논문에서는 단어 색인(word index)의 원자성(atomicity)으로 인한 문제점을 보완하고자 딥러닝 기반의 문장 임베딩(sentenceembedding)을 구축하고, 단어 가중치 벡터와 문장 임베딩을 조합한 문장 유사도 계산 모델을 제안한다.
본 논문에서는 단어 가중치 벡터와 문장 임베딩을 이용한 문장 유사도 기법 기반의 FAQ 시스템을 제안하였다. 실험을 통해 단어 가중치 벡터와 문장 임베딩을 단일 모델로 사용하는 것 보다 두 모델을 조합하여 유사도를 구하는 것이 더 높은 성능을 보였다.
본 논문에서는 단어 가중치 벡터와 문장 임베딩을 조합한 문장 유사도 계산 모델을 제시한다. 주어진 질문ܳ Q_i의 문장 임베딩을 ܵS_i, 단어 가중치 벡터를 L_i라고 할때, 두 질문간의 유사도 점수는 식(1)으로 계산할 수 있다.

제안 방법

본 논문에서는 단어 가중치 벡터와 딥러닝을 이용한 셀프 어텐션 기반의 문장 임베딩 방법을 이용하였다. 그리고 이 두 가지 방법을 조합한 효과적인 문장 유사도 기법 기반의 FAQ시스템을 제안한다.
본 논문에서는 두 가지 문장 임베딩 방법으로 실험을 진행하였다. 먼저 대량의 코퍼스로 미리 학습된 단어 임베딩(word embedding)[6]을 이용하여, 문장 내 모든 단어의 임베딩을 평균한 벡터로 문장을 표현하였다. 두 번째로는 문장 내 단어 임베딩으로 이루어진 행렬에 self-attention[7] 기법을 적용한 후 평균하여 문장 벡터를 생성하였다.
본 논문에서는 문장 내 단어들을 벡터로 표현하기 위해 목적하는 FAQ 시스템인 차량 도메인에 적합한 단어 임베딩을 생성하였다. 먼저 약 1.9GB의 인터넷 뉴스를 크롤링하여 64차원의 단어 임베딩을 만든 후 31,698건의 자동차 관련 상담 발화를 추가적으로 학습하였다[10].
먼저 단어 가중치 벡터 혹은 문장 임베딩 만을 이용한 단일 모델 문장 표현의 성능은 [표 1]과 같다. 문장 벡터간의 코사인 유사도를 이용하여 accuracy를 측정하였다. 단일 모델에서는 TFIDF를 이용한 단어 가중치 벡터가 가장 높은 성능을 보였고, 문장 임베딩에서는 self-attention을 적용한 결과 Accuracy@1에서 약 4.
본 논문에서는 단어 가중치 벡터 기반의 유사도 검색방법이 갖는 단점을 보완하기 위해 딥러닝 기반의 단어임베딩(word embedding)을 이용한 문장 임베딩을 사용하였다. 단어 임베딩이란 대량의 코퍼스를 이용하여 단어를 표현하는 벡터를 학습하는 딥러닝 모델이다.
단어 벡터는 주변 단어들로부터 중심 단어를 예측하거나 중심단어로부터 주변 단어들을 예측하는 방향으로 학습된다[9]. 본 논문에서는 문장 내 단어들을 벡터로 표현하기 위해 목적하는 FAQ 시스템인 차량 도메인에 적합한 단어 임베딩을 생성하였다. 먼저 약 1.
총 559개의 FAQ 데이터와 169개의 테스트 데이터에 대해 Accuracy@5, Accuracy@1을 측정하였다. 실험에서는 TFIDF를 이용하여 단어 가중치 벡터를 구성하였고, Komoran 3.3 형태소 분석기를 이용하였다. 또한 단어 임베딩은 fastText 모델[6]을 사용하였고, 테스트 시 단어 임베딩에 존재하지 않는 단어에 대해서는 모든 차원의 값이 0인 벡터로 초기화 하였다.
실험을 통해 단어 가중치 벡터와 문장 임베딩을 단일 모델로 사용하는 것 보다 두 모델을 조합하여 유사도를 구하는 것이 더 높은 성능을 보였다. 이를 통해 문장의 어휘적 정보뿐만 아니라 의미적(semantic)인 정보를 조합하여 문장을 표현한 효과적인 FAQ 시스템을 구축하였다.

대상 데이터

본 논문에서는 자동차 관련 분야의 FAQ 데이터를 사용하였다. 총 559개의 FAQ 데이터와 169개의 테스트 데이터에 대해 Accuracy@5, Accuracy@1을 측정하였다.
실험에서는 자동차 관련 분야의 FAQ 데이터를 사용하였고, 559개의 검색 대상 질의응답 쌍 데이터와 169개의 테스트 데이터에 대해 Accuracy@5(상위 5개의 검색 정확도)와 Accuracy@1(상위 1개의 검색 정확도)을 측정하였다. 실험 결과 TFIDF 기반 유사도 검색 모델과 비교하여 문장 임베딩을 추가한 경우 Accuracy@1에서 약 5.
본 논문에서는 자동차 관련 분야의 FAQ 데이터를 사용하였다. 총 559개의 FAQ 데이터와 169개의 테스트 데이터에 대해 Accuracy@5, Accuracy@1을 측정하였다. 실험에서는 TFIDF를 이용하여 단어 가중치 벡터를 구성하였고, Komoran 3.

이론/모형

먼저 대량의 코퍼스로 미리 학습된 단어 임베딩(word embedding)[6]을 이용하여, 문장 내 모든 단어의 임베딩을 평균한 벡터로 문장을 표현하였다. 두 번째로는 문장 내 단어 임베딩으로 이루어진 행렬에 self-attention[7] 기법을 적용한 후 평균하여 문장 벡터를 생성하였다. 두 방법 모두 TFIDF 기반 유사도 검색에 비해 성능 향상이 있었으며, self-attention을 적용한 문장 임베딩 기반의 유사도 검색이 가장 높은 성능을 보였다.
3 형태소 분석기를 이용하였다. 또한 단어 임베딩은 fastText 모델[6]을 사용하였고, 테스트 시 단어 임베딩에 존재하지 않는 단어에 대해서는 모든 차원의 값이 0인 벡터로 초기화 하였다.
먼저 각 질의를 표현하는 문장 벡터를 생성한 후 벡터간 유사도 계산을 통해 가장 유사한 질의를 찾는다. 본 논문에서는 단어 가중치 벡터와 딥러닝을 이용한 셀프 어텐션 기반의 문장 임베딩 방법을 이용하였다. 그리고 이 두 가지 방법을 조합한 효과적인 문장 유사도 기법 기반의 FAQ시스템을 제안한다.
최근 딥러닝을 이용하여 문장을 표현하는 다양한 방법이 제시되었다[4, 5]. 본 논문에서는 두 가지 문장 임베딩 방법으로 실험을 진행하였다. 먼저 대량의 코퍼스로 미리 학습된 단어 임베딩(word embedding)[6]을 이용하여, 문장 내 모든 단어의 임베딩을 평균한 벡터로 문장을 표현하였다.

성능/효과

단일 모델에 비해 제안된 모델이 모두 성능이향상되었는데, 이를 통해 두 모델이 상호 보완적인 작용을 하는 것을 알 수 있다. 단어 가중치 벡터(TFIDF) 단일 모델과 비교했을 때, Accuracy@1에서 최대 5.91%의성능 향상이 있었다.
8 사이의 값이 가장 높은 성능을 보였다. 단일 모델에 비해 제안된 모델이 모두 성능이향상되었는데, 이를 통해 두 모델이 상호 보완적인 작용을 하는 것을 알 수 있다. 단어 가중치 벡터(TFIDF) 단일 모델과 비교했을 때, Accuracy@1에서 최대 5.
문장 벡터간의 코사인 유사도를 이용하여 accuracy를 측정하였다. 단일 모델에서는 TFIDF를 이용한 단어 가중치 벡터가 가장 높은 성능을 보였고, 문장 임베딩에서는 self-attention을 적용한 결과 Accuracy@1에서 약 4.14%의 성능 향상이 있었다. 실험 결과를 통해 FAQ 시스템에서는 직접적인 단어 간의 유사도 정보가 성능에 많은 영향을 준다는 것을 알 수 있었다.
두 번째로는 문장 내 단어 임베딩으로 이루어진 행렬에 self-attention[7] 기법을 적용한 후 평균하여 문장 벡터를 생성하였다. 두 방법 모두 TFIDF 기반 유사도 검색에 비해 성능 향상이 있었으며, self-attention을 적용한 문장 임베딩 기반의 유사도 검색이 가장 높은 성능을 보였다.
또한 self-attention 기반의 문장 임베딩 기법을 이용한 실험에서 추가적인 성능 향상이 있었고, 단순히 단어임베딩을 평균하는 것보다 문장 내 중요한 의미를 표현하는 차원에 집중하는 것이 문장을 더욱 효과적으로 표현함을 알 수 있었다.
실험에서는 자동차 관련 분야의 FAQ 데이터를 사용하였고, 559개의 검색 대상 질의응답 쌍 데이터와 169개의 테스트 데이터에 대해 Accuracy@5(상위 5개의 검색 정확도)와 Accuracy@1(상위 1개의 검색 정확도)을 측정하였다. 실험 결과 TFIDF 기반 유사도 검색 모델과 비교하여 문장 임베딩을 추가한 경우 Accuracy@1에서 약 5.32% 성능이 향상되었고, self-attention을 적용한 결과 추가적인 성능 향상이 있었다.
14%의 성능 향상이 있었다. 실험 결과를 통해 FAQ 시스템에서는 직접적인 단어 간의 유사도 정보가 성능에 많은 영향을 준다는 것을 알 수 있었다.
본 논문에서는 단어 가중치 벡터와 문장 임베딩을 이용한 문장 유사도 기법 기반의 FAQ 시스템을 제안하였다. 실험을 통해 단어 가중치 벡터와 문장 임베딩을 단일 모델로 사용하는 것 보다 두 모델을 조합하여 유사도를 구하는 것이 더 높은 성능을 보였다. 이를 통해 문장의 어휘적 정보뿐만 아니라 의미적(semantic)인 정보를 조합하여 문장을 표현한 효과적인 FAQ 시스템을 구축하였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Self-Attention 기반의 문장 임베딩을 이용한 효과적인 문장 유사도 기법 기반의 FAQ 시스템
An Effective Sentence Similarity Measure Method Based FAQ System Using Self-Attentive Sentence Embedding 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Self-Attention 기반의 문장 임베딩을 이용한 효과적인 문장 유사도 기법 기반의 FAQ 시스템 An Effective Sentence Similarity Measure Method Based FAQ System Using Self-Attentive Sentence Embedding 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Self-Attention 기반의 문장 임베딩을 이용한 효과적인 문장 유사도 기법 기반의 FAQ 시스템
An Effective Sentence Similarity Measure Method Based FAQ System Using Self-Attentive Sentence Embedding 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper