[논문]Dual Bi-Directional Attention Flow를 이용한 한국어 기계이해 시스템

이현구; 김학수; 최정규; 김이른

Dual Bi-Directional Attention Flow를 이용한 한국어 기계이해 시스템
Korean Machine Comprehension using Dual Bi-Directional Attention Flow 원문보기

이현구 (강원대학교 컴퓨터정보통신공학과) , 김학수 (강원대학교 컴퓨터정보통신공학과) , 최정규 (LG 전자 SW센터 인공지능연구소) , 김이른 (LG 전자 SW센터 인공지능연구소)

기계이해 시스템은 주어진 문서를 이해하고 질의에 해당하는 정답을 출력하는 방법으로 심층 신경망을 활용한 주의집중 방법이 발달하면서 활발히 연구되기 시작했다. 본 논문에서는 어휘 정보를 통해 문서와 질의를 이해하는 어휘 이해 모델과 품사 등장 정보, 의존 구문 정보를 통해 문법적 이해를 하는 구문 이해 모델을 함께 사용하여 기계이해 질의응답을 하는 Dual Bi-Directional Attention Flow모델을 제안한다. 한국어로 구성된 18,863개 데이터에서 제안 모델은 어휘 이해 모델만 사용하는 Bi-Directional Attention Flow모델보다 높은 성능(Exact Match: 0.3529, F1-score: 0.6718)을 보였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이는 SQuAD 학습 데이터가 87,599개로 매우 많은 양을 학습하는 반면 한국어 데이터는 18,456개 밖에 학습을 하지 않기 때문이다. 따라서 제안 모델이 데이터가 증가될수록 성능이 올라 갈 수 있는 가능성을 보기 위해 학습 데이터의 개수에 따른 성능을 측정한다. [그림 5]는학습 데이터의 개수 변화에 따른 성능의 차이를 나타낸다.
또한 구문적 정보를 반영하기 위해 구조 정보를 임베딩하여 입력으로 반영한 연구[5], 개체명과 품사를 반영한 연구 등 언어의 특성을 반영하기 위한 연구[6]도 진행되었다. 본 논문에서는 Bi-Directional Attention Flow모델을 한국어에 맞게 변형하고 품사 등장 정보 및 의존 구문 정보를 추가하여 성능을 향상시키는 Dual Bi-Directional Attention Flow를 제안한다.
본 논문에서는 어휘 이해만을 사용하는 기존의 Bi-Directional Attention Flow모델에 구문 이해를 추가한 한국어 Dual Bi-Directional Attention Flow모델을 제안하였다. 실험 결과 어휘 이해 모델만을 사용하는 Bi-Directional Attention Flow모델에 품사 등장 정보, 의존 구문 정보를 주의집중 계층을 통해 반영해주는 구문 이해 모델을 추가하여 완전 일치율, F1-score가 각각 1.
특히 영어권에서는 SQuAD(Stanford Question Answering Dataset)[1]를 사용하는 기계이해시스템 경진대회를 통해 다양한 모델이 연구되고 있다. 본 논문에서는 한국어 문서와 질의간의 관계를 이해시키고 정답을 찾아내기 위해 어휘와 구문 정보를 함께 활용하는 한국어 기계이해 시스템을 제안한다.

제안 방법

3.1절에서 언급한 어휘간의 이해 외에도 문법적 관계를 이해하기 위해 어절의 품사 등장 정보 및 의존 구문 정보를 사용하는 구문 이해 모델을 제안한다. [그림 3]은 한국어 구문 이해 모델이다.
어휘이해 모델은 형태소와 음절을 통해 어절 임베딩을 생성하고 문서와 질의 간의 주의집중을 계산한다. 구문 이해모델은 문장에 나타나는 어절의 품사 등장 정보와 의존구문분석을 통해 얻어진 의존 구문 표지의 최단 경로 정보를 통해 임베딩을 생성하고 문서와 질의 간의 주의집중을 계산한다. 두 가지 모델을 통해 얻어진 어휘 주의집중 벡터와 구문 주의집중 벡터를 Long Short-Term Memory(LSTM) 순환신경망(Recurrent Neural Network)[7]으로 구성된 모델링 계층에 전달하여 어절 간의 정보를 모델링하고 출력 계층에서 정답에 해당하는 문서의 어절 위치를 반환한다.
본 논문에서는 문서와 질의 사이의 관계를 이해시키기 위해 먼저 형태소와 음절을 통해 어절 임베딩을 생성한다. 다음으로 문서와 질의에 나타나는 어절 간의 주의집중을 계산하여 문서에 나타나는 어절과 질의에 나타나는 어절 간의 연관성을 찾아낸다. [그림 2]는 한국어 어휘이해 모델이다.
구문 이해모델은 문장에 나타나는 어절의 품사 등장 정보와 의존구문분석을 통해 얻어진 의존 구문 표지의 최단 경로 정보를 통해 임베딩을 생성하고 문서와 질의 간의 주의집중을 계산한다. 두 가지 모델을 통해 얻어진 어휘 주의집중 벡터와 구문 주의집중 벡터를 Long Short-Term Memory(LSTM) 순환신경망(Recurrent Neural Network)[7]으로 구성된 모델링 계층에 전달하여 어절 간의 정보를 모델링하고 출력 계층에서 정답에 해당하는 문서의 어절 위치를 반환한다.
각 어절별 벡터가 생성된 후 양방향 LSTM 순환 신경망을 통해 어절에 문장 단위 정보를 반영한다. 마지막으로 생성된 문서의 어절 임베딩과 질의의 어절 임베딩을 주의집중 계층에 입력하여 주의집중 관계를 계산한다. 주의집중 계층은 식 (1)과 같이 계산된다.
본 논문에서 제안하는 모델은 한국어 어휘 이해 모델과 구문 이해 모델에서 계산된 주의집중 벡터를 통해 정답에 해당하는 문서의 어절 위치를 반환한다. 정답을 찾기 위한 계층은 어절별로 출력된 주의집중 벡터를 양방향 LSTM 순환신경망을 이용하여 문장단위로 정보를 찾아내는 모델링 계층과 찾아진 정보를 통해 정답의 시작 위치와 끝 위치를 반환하는 출력 계층으로 이루어진다.
본 논문에서는 문서와 질의 사이의 관계를 이해시키기 위해 먼저 형태소와 음절을 통해 어절 임베딩을 생성한다. 다음으로 문서와 질의에 나타나는 어절 간의 주의집중을 계산하여 문서에 나타나는 어절과 질의에 나타나는 어절 간의 연관성을 찾아낸다.
[그림 1]은 제안 모델의 구조도를 보여준다. 제안 모델은 문서와 질의 사이의 관계를 이해하기 위해 어휘 정보를 통해 단어와 단어 간의 관계를 찾아내는 어휘 이해모델과 품사 등장 정보 및 의존 구문 정보를 통해 문법적 관계를 찾아내는 구문 이해 모델로 구성된다. 어휘이해 모델은 형태소와 음절을 통해 어절 임베딩을 생성하고 문서와 질의 간의 주의집중을 계산한다.

대상 데이터

본 논문에서는 한국어 기계이해 질의응답 시스템을 실험하기 위해 자체 제작한 질의응답 데이터 18,863개를 사용한다. 질의응답 데이터는 여러 문장으로 구성된 문서, 질의, 질의에 해당하는 답변 및 어절 위치로 구성되어 있으며 학습 데이터 18,456개, 평가 데이터 357개, 개발 확인 데이터 50개를 무작위로 나누어 사용한다.
완전 일치율은 모델이 예측한 시작 위치에서부터 끝 위치까지의 형태소가 정답과 모두 일치하는 경우를 의미하고 형태소 단위 F1-score는 모델이 예측한 위치 사이에 존재하는 형태소가 실제 정답과 얼마나 일치하는지를 F1-score로 측정한 성능이다. 실험에 사용되는 모델은 어휘 이해 모델만을 사용하는 Bi-Directional Attention Flow(BiDAF), 어휘 이해 모델과 구문 이해 모델을 함께 사용하는 제안 모델 Dual Bi-Directional Attention Flow(Dual BiDAF)가 있다. 표 1은 모델의 성능을 보여준다.
질의응답 데이터는 여러 문장으로 구성된 문서, 질의, 질의에 해당하는 답변 및 어절 위치로 구성되어 있으며 학습 데이터 18,456개, 평가 데이터 357개, 개발 확인 데이터 50개를 무작위로 나누어 사용한다. 실험에서 사용한 형태소 분석기와 구문 분석기는 Kacteil 언어 분석기[11-12]를 사용했으며 성능은 형태소 정확도 95.21%, UAS 87.21% LAS 85.28%이다. [그림 4]는 실험에서 사용하는 데이터의 예시이다.
본 논문에서는 한국어 기계이해 질의응답 시스템을 실험하기 위해 자체 제작한 질의응답 데이터 18,863개를 사용한다. 질의응답 데이터는 여러 문장으로 구성된 문서, 질의, 질의에 해당하는 답변 및 어절 위치로 구성되어 있으며 학습 데이터 18,456개, 평가 데이터 357개, 개발 확인 데이터 50개를 무작위로 나누어 사용한다. 실험에서 사용한 형태소 분석기와 구문 분석기는 Kacteil 언어 분석기[11-12]를 사용했으며 성능은 형태소 정확도 95.

이론/모형

본 논문에서 모델의 성능을 확인하기 위해 기계이해시스템에서 많이 사용되는 완전 일치율(Exact Match)과형태소 단위의 F1-score를 성능 지표로 사용한다. 완전 일치율은 모델이 예측한 시작 위치에서부터 끝 위치까지의 형태소가 정답과 모두 일치하는 경우를 의미하고 형태소 단위 F1-score는 모델이 예측한 위치 사이에 존재하는 형태소가 실제 정답과 얼마나 일치하는지를 F1-score로 측정한 성능이다.

성능/효과

본 논문에서는 어휘 이해만을 사용하는 기존의 Bi-Directional Attention Flow모델에 구문 이해를 추가한 한국어 Dual Bi-Directional Attention Flow모델을 제안하였다. 실험 결과 어휘 이해 모델만을 사용하는 Bi-Directional Attention Flow모델에 품사 등장 정보, 의존 구문 정보를 주의집중 계층을 통해 반영해주는 구문 이해 모델을 추가하여 완전 일치율, F1-score가 각각 1.96%p, 2.6%p 향상되는 결과를 얻었다. 향후 연구로 완전 일치율의 성능을 향상시키기 위해 어절 간의 연결 오류를 형태소의 기능어를 통해 해결해 볼 예정이다.
영어권에서 연구되고 있는 SQuAD(Stanford Question Answering Dataset) 데이터를 사용하는 기계이해 시스템의 경우 완전 일치율 0.7, F1-score 0.8정도로 본 논문에서 제안한 한국어 모델과 큰 성능차이를 보이고 있다. 이는 SQuAD 학습 데이터가 87,599개로 매우 많은 양을 학습하는 반면 한국어 데이터는 18,456개 밖에 학습을 하지 않기 때문이다.
6%p 높게 나왔다. 즉, 어휘만을 사용했을 때보다 품사 등장 정보, 의존 구문 정보의 주의집중 벡터가 정답의 경계를 찾아내는데 도움을 주는 것을 알 수 있다.
표 1에서 보는 것과 같이 어휘 이해 모델에 구문 이해모델을 같이 사용하는 Dual Bi-Directional Attention Flow가 어휘 이해 모델만 사용하는 Bi-Directional Attention Flow보다 완전 일치율 1.96%p, F1-Score 2.6%p 높게 나왔다. 즉, 어휘만을 사용했을 때보다 품사 등장 정보, 의존 구문 정보의 주의집중 벡터가 정답의 경계를 찾아내는데 도움을 주는 것을 알 수 있다.

후속연구

6%p 향상되는 결과를 얻었다. 향후 연구로 완전 일치율의 성능을 향상시키기 위해 어절 간의 연결 오류를 형태소의 기능어를 통해 해결해 볼 예정이다.

핵심어

질문

논문에서 추출한 답변

질의응답 시스템이란 무엇인가?

질의응답 시스템(Question Answering System)은 자연어로 이루어진 질의를 시스템이 이해하고 적절한 답변을 출력해주는 시스템이다. 최근 심층 신경망 기술이 발전함에 따라 이러한 질의응답 시스템의 방법 중 기계이해(Machine Comprehension) 방식의 질의응답이 활발하게 연구되고 있다.

SQuAD 데이터를 사용하는 기계이해 시스템 연구는 어떤 것들이 있는가?

최근 SQuAD 데이터를 사용하는 기계이해 시스템이 활발하게 연구되고 있다. 문서 어휘에서 질의 어휘의 주의집중(Attention)과 질의 어휘에서 문서 어휘의 주의집중을 계산하여 정답의 위치를 반환하는 Bi-Directional Attention Flow[2], 문서에 질의의 주의집중을 계산한 후 self-matching을 통해 문서를 다시 확인하는 R-Net[3], 문서와 질의의 벡터를 내적하는 단순한 방법으로 관계를 계산하고 언어모델(Language Model)을 통해 정답을 찾아내는 Interactive AoA Reader[4]등이 연구되고 있다. 또한 구문적 정보를 반영하기 위해 구조 정보를 임베딩하여 입력으로 반영한 연구[5], 개체명과 품사를 반영한 연구 등 언어의 특성을 반영하기 위한 연구[6]도 진행되었다. 본 논문에서는 Bi-Directional Attention Flow모델을 한국어에 맞게 변형하고 품사 등장 정보 및 의존 구문 정보를 추가하여 성능을 향상시키는 Dual Bi-Directional Attention Flow를 제안한다.

기계이해 시스템이란 무엇인가?

최근 심층 신경망 기술이 발전함에 따라 이러한 질의응답 시스템의 방법 중 기계이해(Machine Comprehension) 방식의 질의응답이 활발하게 연구되고 있다. 기계이해 시스템은 정보가 포함된 문서와 그 문서에 포함된 정보를 질문하는 질의 간의 관계를 이해시키고 이를 통해 문서에 나타나는 정보의 위치를 찾아주는 질의응답 방법이다. 다양한 정보가 빠르게 증가하여 제한된 시간 안에 많은 정보 습득이 중요해진 만큼 정보 습득을 도와주는 기계이해 시스템이 활발히 연구되고 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Dual Bi-Directional Attention Flow를 이용한 한국어 기계이해 시스템
Korean Machine Comprehension using Dual Bi-Directional Attention Flow 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Dual Bi-Directional Attention Flow를 이용한 한국어 기계이해 시스템 Korean Machine Comprehension using Dual Bi-Directional Attention Flow 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Dual Bi-Directional Attention Flow를 이용한 한국어 기계이해 시스템
Korean Machine Comprehension using Dual Bi-Directional Attention Flow 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper