초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

딥러닝 기법이 발달함에 따라 텍스트에 내재된 의미 및 구문을 어떠한 벡터 공간 상에 표현하기 위한 언어 모델이 활발히 연구되어 왔다. 이를 통해 자연어 처리를 기반으로 하는 감성 분석 및 문서 분류, 기계 번역 등의 분야가 진보되었다. 그러나 대부분의 언어 모델들은 텍스트에 나타나는 단어들의 일반적인 패턴을 학습하는 것을 기반으로 하기 때문에, 문서 요약이나 스토리텔링, 의역된 문장 판별 등과 같이 보다 고도화된 자연어의 이해를 필요로 하는 연구들의 경우 주어진 텍스트의 주제 및 의미를 고려하기에 한계점이 있다. 이와 같은 한계점을 고려하기 위하여, 본 연구에서는 기존의 LSTM 모델을 변형하여 문서 주제와 해당 주제에서 단어가 가지는 문맥적인 의미를 단어 벡터 표현에 반영할 수 있는 새로운 언어 학습 모델을 제안하고, 본 제안 모델이 문서의 주제를 고려하여 문장을 자동으로 생성할 수 있음을 보이고자 한다.

딥러닝 기법이 발달함에 따라 텍스트에 내재된 의미 및 구문을 어떠한 벡터 공간 상에 표현하기 위한 언어 모델이 활발히 연구되어 왔다. 이를 통해 자연어 처리를 기반으로 하는 감성 분석 및 문서 분류, 기계 번역 등의 분야가 진보되었다. 그러나 대부분의 언어 모델들은 텍스트에 나타나는 단어들의 일반적인 패턴을 학습하는 것을 기반으로 하기 때문에, 문서 요약이나 스토리텔링, 의역된 문장 판별 등과 같이 보다 고도화된 자연어의 이해를 필요로 하는 연구들의 경우 주어진 텍스트의 주제 및 의미를 고려하기에 한계점이 있다. 이와 같은 한계점을 고려하기 위하여, 본 연구에서는 기존의 LSTM 모델을 변형하여 문서 주제와 해당 주제에서 단어가 가지는 문맥적인 의미를 단어 벡터 표현에 반영할 수 있는 새로운 언어 학습 모델을 제안하고, 본 제안 모델이 문서의 주제를 고려하여 문장을 자동으로 생성할 수 있음을 보이고자 한다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 연구에서는 기존의 LSTM 모델을 변형하여 문서의 주제와 특정 주제에서 단어가 가지는 문맥적 의미를 단어 벡터에 효과적으로 표현할 수 있는 새로운 언어 학습 모델을 제안하고, 모델을 통해 주어진 문서의 주제와 연관된 문장들을 자동적으로 생성함으로써, 보다 심층적인 자연어의 이해를 필요로 하는 분야에 응용될 수 있음을 보이고자 한다.
• 본 절에서는 LSTM의 가장 기본적인 구조인 One-to-one 모델에 대해 기술한다. 아래 그림 1은 이에 대한 구조를 보여준다.

제안 방법

• 두 번째 실험에서는 DUC 제공하는 정답 요약문과 제안 기법이 생성한 문장의 유사도를 비교한다. 평가를 위해 사용된 요약문은 DUC 2004이며, 각 주제에 대한 요약문이 존재한다.
• 본 연구에서는 기존 LSTM 모델을 변형하여 문서 주제와 해당 주제에서 단어가 가지는 문맥적 의미를 단어 벡터 표현에 반영할수 있는 새로운 언어 학습 모델을 제안하였고, 본 모델이 문서의 주제를 고려하여 문장을 자동으로 생성할 수 있음을 보였다. 또한본 모델이 보다 심층적인 자연어의 이해를 필요로 하는 여러 분야에 응용될 수 있는 가능성을 확인하였다.

대상 데이터

• 모델의 학습을 위해서는 두 데이터를 모두 사용하였으며 context의 단위c를 10으로 설정하였을 때 총 입력 시퀀스의 수는 507,052개이며, 총 단어의 개수는 44,065 개이다. 모델의 파라미터는 여러 번의 실험을 통하여 은닉 노드의 차원은 1024, epoch는 50으로 설정하였다
• 실험 데이터는 Document Understanding Conference(DUC)¹⁾에서 제공하는 DUC 2002와 DUC 2004를 사용한다. 각 데이터셋은 특정 주제에 대한 여러 다중 문서의 집합으로 구성되어 있으며, 각 데이터셋에 대한 세부 사항은 아래 표 1과 같다.
• 실험에 사용된 baselines으로는 2장에서 소개된 두 모델을 사용하며, 두 모델과 Many-to-one 모델에 문서를 결합한 제안 모델을 비교 실험하였다.

이론/모형

• 본 장에서는 제안하는 문서 요약에서 주제에 따른 문장 생성을 위한 LSTM 기반 언어 학습 모델에 대한 구체적인 방법론에 대해서 기술한다. 단어의 문맥 정보를 반영하기 위해서 Many-to-one 모델을 사용하며, 각 단어에 문서의 주제를 반영시키기 위하여 추가적으로 문서 벡터를 학습하여 단어와 함께 사용한다. 아래 그림 3은 제안 기법에 대한 전체 구조이다.
• 모델의 학습은 각 시간에 예측된 단어 #와 실제 정답w 간의 오차가 최소화되도록 수행하며, 본 논문에서는 오차를 계산하기 위해 Cross Entropy CE를 사용한다. CE는 정답과의 차이는 적게하고, 정답이 아닌 것과의 차이는 크게 만드는 오차 함수로, 이는 다음식 (4)와 같이 계산된다.
• 두 번째 실험에서는 DUC 제공하는 정답 요약문과 제안 기법이 생성한 문장의 유사도를 비교한다. 평가를 위해 사용된 요약문은 DUC 2004이며, 각 주제에 대한 요약문이 존재한다. 문장 생성을 위해 각 요약문의 첫 번째 문장을 본 모델의 입력으로 사용하였으며, 이는 학습 데이터에 존재하지 않는 문장이다.

성능/효과

• 기본 구조인 One-to-one 모델과 비교하여 Many-to-one 모델이 예측에 있어서 뛰어난 성능을 보이는 것을 확인할 수 있으며, 주제를 나타내는 문서 벡터를 함께 입력으로 준 제안 모델의 경우 일반적인 Many-to-one 모델보다 정확도가 높은 것을 확인할 수 있다.
• 아래 표 3와 같이 실험을 통해 제안 기법이 baseline에 비해서 문장의 표현력, 주제와의 관련성의 측면에서 뛰어난 모습을 확인할 수 있다. 특히, 단어의 문맥을 학습하지 못하는 One-to-one 모델의 경우 특정 단어를 반복하는 모습을 보이고 있으며, 제안 모델의 경우 IMF라는 토픽이 주어지지 않았음에도 관련된 문장을 생성하는 것을 확인할 수 있다.

후속연구

• 본 연구에서는 기존 LSTM 모델을 변형하여 문서 주제와 해당 주제에서 단어가 가지는 문맥적 의미를 단어 벡터 표현에 반영할수 있는 새로운 언어 학습 모델을 제안하였고, 본 모델이 문서의 주제를 고려하여 문장을 자동으로 생성할 수 있음을 보였다. 또한본 모델이 보다 심층적인 자연어의 이해를 필요로 하는 여러 분야에 응용될 수 있는 가능성을 확인하였다.
• 향후에는 모델 설계에 있어 보다 구조적인 접근과 이를 입증할 수 있는 여러 실험을 통해 모델의 성능을 확인하고 다양한 분야에 적용해보고자 한다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기