[논문]기계독해 기반 질의응답 챗봇

이현구; 김진태; 최맹식; 김학수

기계독해 기반 질의응답 챗봇
Machine Reading Comprehension based Question Answering Chatbot 원문보기

이현구 (강원대학교 컴퓨터정보통신공학과) , 김진태 (강원대학교 컴퓨터정보통신공학과) , 최맹식 ((주)엔씨소프트) , 김학수 (강원대학교 컴퓨터정보통신공학과)

챗봇은 사람과 기계가 자연어로 된 대화를 주고받는 시스템이다. 최근 대화형 인공지능 비서 시스템이 상용화되면서 일반적인 대화와 질의응답을 함께 처리해야할 필요성이 늘어나고 있다. 본 논문에서는 기계독해 기반 질의응답과 Transformer 기반 자연어 생성 모델을 함께 사용하여 하나의 모델에서 일반적인 대화와 질의응답을 함께 하는 기계독해 기반 질의응답 챗봇을 제안한다. 제안 모델은 기계독해 모델에 일반대화를 판단하는 옵션을 추가하여 기계독해를 하면서 자체적으로 문장을 분류하고, 기계독해 결과를 통해 자연어로 된 문장을 생성한다. 실험 결과 일반적인 대화 문장과 질의를 높은 성능으로 구별하면서 기계독해의 성능은 유지하였고 자연어 생성에서도 분류에 맞는 응답을 생성하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 책과 같이 주어진 문서가 있을 때 질의응답과 일반적인 대화를 단일 모델에서 처리하는 기계독해 기반의 챗봇을 제안하였다. 제안 모델은 기존의 기계 독해 모델에 정답이 존재 하지 않는 경우를 추가하여 문장을 읽고 기계독해를 해결함과 동시에 일반대화 문장을 분류하는 것이 가능하였다.
그러나 생성 기반의 챗봇의 경우 일반적인 대화만을 처리하고 질의응답의 경우 정확도가 매우 떨어지는 문제를 가지고 있다. 본 논문은 이러한 문제를 해결하기 위해 문서에서 정답을 찾아 답변하는 기계독해 질의응답과 생성 기반의 일반 채팅을 단일 모델로 결합한 기계독해 기반 질의응답 챗봇을 제안한다.

제안 방법

0과 같이 무응답을 처리하는 모델을 기반으로 일반적인 대화 문장을 분류하고 기계독해를 함께 진행한다. 그 후 분류된 결과를 생성 모델에서 좋은 성능을 보이고 있는 Transformer[6]를 통해 자연어로 된 답변을 생성하는 모델을 제안한다.
기계독해 말뭉치는 61,298개와 1,598개로 나누어 학습 데이터와 평가 데이터로 사용하고 채팅 말뭉치는 568,107개와 34,110개를 학습 데이터와 평가 데이터로 사용한다. 기계독해 모델에서 일반대화를 구별하기 위해 기계독해 데이터에 무작위로 선택된 채팅 데이터를 사용하여 일반대화 응답 데이터를 추가한다. 일반대화가 포함된 기계독해 학습 데이터는 122,593개이며 평가 데이터는 3,196개 이다.
본 논문에서 기계독해 모델과 자연어 생성 모델은 독립적으로 학습한다. 즉, 기계독해 모델을 먼저 학습하고 그 결과를 통해 자연어 생성 모델을 학습하며 자연어 생성 모델에서 발생한 loss는 기계독해 모델로 전파되지 않는다.
본 논문에서 일반적인 대화와 질의를 구별하기 위해 일반대화 응답 옵션을 추가한 기계독해 모델을 사용한다. 기계독해 모델은 인코딩 단계, 상호 집중 단계, 출력 단계로 구성되며 일반대화 응답 옵션은 출력 단계에 추가한다.
0[5]은 문서에 정답이 존재하지 않는 경우를 찾는 무응답까지 포함되었다. 본 논문에서는 SQuAD v2.0과 같이 무응답을 처리하는 모델을 기반으로 일반적인 대화 문장을 분류하고 기계독해를 함께 진행한다. 그 후 분류된 결과를 생성 모델에서 좋은 성능을 보이고 있는 Transformer[6]를 통해 자연어로 된 답변을 생성하는 모델을 제안한다.
하지만 지식 베이스는 구축에 많은 비용이 들어가고 질의에 나타나는 주어(Subject)를 찾아야하는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 기계독해 모델을 통해 비정형 문서에서 정답을 찾는 방식을 사용한다. 기계독해는 다양한 방법으로 연구가 되고 있으며 최근 SQuAD v1.
일반대화가 포함된 기계독해 학습 데이터는 122,593개이며 평가 데이터는 3,196개 이다. 자연어 생성 모델은 채팅 말뭉치에 기계독해 정답을 placeholder 템플릿을 통해 문장으로 만든 데이터를 추가하여 학습한다.
그림 1은 제안 모델의 구조도를 보여준다. 제안 모델은 문서에 포함된 정답을 찾아내는 기계독해 모델과 응답을 생성하는 Transformer 기반 생성 모델로 구성된다. 기계독해 모델은 문서에 나타나는 정답의 위치를 찾는 기존의 방식에 일반적인 대화를 판단하기 위한 일반대화 응답 옵션을 추가한다.

대상 데이터

채팅 말뭉치는 54,090개의 입력 발화로 구성되어 있으며 입력 출력이 1:n으로 구성되어 총 602,217개의 대화 쌍으로 구성되어있다. 기계독해 말뭉치는 61,298개와 1,598개로 나누어 학습 데이터와 평가 데이터로 사용하고 채팅 말뭉치는 568,107개와 34,110개를 학습 데이터와 평가 데이터로 사용한다. 기계독해 모델에서 일반대화를 구별하기 위해 기계독해 데이터에 무작위로 선택된 채팅 데이터를 사용하여 일반대화 응답 데이터를 추가한다.
2, head 크기 8로 설정하였다. 단어 임베딩은 GloVe[15] 300차원, ELMo는 1,024차원으로 설정하였으며 20GB의 뉴스기사를 가지고 학습하였다.
모델의 파라미터는 기계독해 모델 은닉 크기 100, 자연어 생성 모델 512로 하였으며 학습률(learning rate) 1.0, 드랍아웃 확률 0.2, head 크기 8로 설정하였다. 단어 임베딩은 GloVe[15] 300차원, ELMo는 1,024차원으로 설정하였으며 20GB의 뉴스기사를 가지고 학습하였다.
본 논문에서는 실험을 위해 위키피디아와 나무위키 문서를 통해 자체 구축한 일반대화 응답이 존재하지 않는 기계독해 말뭉치 62,896개와 채팅 말뭉치 602,217개를 사용한다. 채팅 말뭉치는 54,090개의 입력 발화로 구성되어 있으며 입력 출력이 1:n으로 구성되어 총 602,217개의 대화 쌍으로 구성되어있다.
기계독해 모델에서 일반대화를 구별하기 위해 기계독해 데이터에 무작위로 선택된 채팅 데이터를 사용하여 일반대화 응답 데이터를 추가한다. 일반대화가 포함된 기계독해 학습 데이터는 122,593개이며 평가 데이터는 3,196개 이다. 자연어 생성 모델은 채팅 말뭉치에 기계독해 정답을 placeholder 템플릿을 통해 문장으로 만든 데이터를 추가하여 학습한다.

이론/모형

상호 집중 단계는 인코딩 단계에서 생성된 Q와 C간의 상호 관계를 계산한다. Q와 C 간의 상호 관계는 Bi-Directional Attention Flow[9]의 방법을 사용한다. 식 (1)은 Bi-Directional Attention Flow에서 사용하는 양방향 상호 집중을 나타낸다.
본 논문에서는 기계독해 성능 지표로 Exact Match와 음절단위 F1-score를 사용하고 자연어 생성 모델은 BLEU[16]를 사용한다. 표 1은 본 논문에서 제안된 기계 독해 모델의 순수 성능을 나타내기 위해 문서 내에 정답이 반드시 존재하는 기계독해 말뭉치로만 학습하고 평가한 결과를 나타낸다.
본 논문에서는 자연어 생성 모델에 Transformer 방식을 사용한다. Transformer는 순환 신경망에서 발생하는 병렬화 문제를 해결하기 위해 자기 집중으로 순환 신경망을 대체하는 모델이다.
양방향 상호 집중을 통한 F를 계산한 후 Scaled-Dot Product[6]를 통해 자기 집중(Self-Attention)을 진행한다. 자기 집중은 서로 다른 문장 간의 관계를 계산하는 양방향 상호 집중과 달리 같은 문장을 집중하여 문장에 나타나는 단어와 같은 문장에 나타나는 다른 단어와의 관계를 계산하게 된다.

성능/효과

제안 모델은 기존의 기계 독해 모델에 정답이 존재 하지 않는 경우를 추가하여 문장을 읽고 기계독해를 해결함과 동시에 일반대화 문장을 분류하는 것이 가능하였다. 실험 결과 일반적인 대화와 질의 문장은 높은 성능으로 분류가 되었고 문장 생성 또한 적절히 분류되어 생성되는 것을 보였다. 향후 연구로 기계독해의 정답 결과를 자연스러운 문장형태로 바꾸기 위해 추가 자료를 수집하고 자연어 생성 모델을 개선할 예정이다.
본 논문에서는 책과 같이 주어진 문서가 있을 때 질의응답과 일반적인 대화를 단일 모델에서 처리하는 기계독해 기반의 챗봇을 제안하였다. 제안 모델은 기존의 기계 독해 모델에 정답이 존재 하지 않는 경우를 추가하여 문장을 읽고 기계독해를 해결함과 동시에 일반대화 문장을 분류하는 것이 가능하였다. 실험 결과 일반적인 대화와 질의 문장은 높은 성능으로 분류가 되었고 문장 생성 또한 적절히 분류되어 생성되는 것을 보였다.

후속연구

실험 결과 일반적인 대화와 질의 문장은 높은 성능으로 분류가 되었고 문장 생성 또한 적절히 분류되어 생성되는 것을 보였다. 향후 연구로 기계독해의 정답 결과를 자연스러운 문장형태로 바꾸기 위해 추가 자료를 수집하고 자연어 생성 모델을 개선할 예정이다. 또한 검색 모델을 부착하여 문서가 주어질 필요 없이 처리할 수 있도록 할 예정이다.

핵심어

질문

논문에서 추출한 답변

상용화 된 대화형 인공지능 비서 시스템으로는 어떤 것들이 있는가?

챗봇은 사람과 기계가 자연어로 구성된 일반적인 대화를 주고받는 시스템이다. 최근 네이버 Clova, 카카오 미니, SKT NUGU, KT GIGA Genie와 같은 대화형 인공지능 비서 시스템이 상용화되면서 일반적인 대화와 더불어 질의응답을 함께 처리해야하는 경우가 늘어나고 있다. 기존의 생성 기반 챗봇의 경우 종단형(end-to-end model) 모델인 sequence-to-sequence[1] 형태로 연구가 많이 되었다.

챗봇이란 무엇인가?

챗봇은 사람과 기계가 자연어로 된 대화를 주고받는 시스템이다. 최근 대화형 인공지능 비서 시스템이 상용화되면서 일반적인 대화와 질의응답을 함께 처리해야할 필요성이 늘어나고 있다.

생성 모델에 지식 베이스를 함께 사용하여 질의응답이 가능한 대화 생성 모델의 단점은?

이러한 문제를 해결하고자 생성 모델에 지식 베이스를 함께 사용하여 질의응답이 가능한 대화 생성 모델[2,3]이 연구되었다. 하지만 지식 베이스는 구축에 많은 비용이 들어가고 질의에 나타나는 주어(Subject)를 찾아야하는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 기계독해 모델을 통해 비정형 문서에서 정답을 찾는 방식을 사용한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

기계독해 기반 질의응답 챗봇
Machine Reading Comprehension based Question Answering Chatbot 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

기계독해 기반 질의응답 챗봇 Machine Reading Comprehension based Question Answering Chatbot 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

기계독해 기반 질의응답 챗봇
Machine Reading Comprehension based Question Answering Chatbot 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper