[논문]Generative Adversarial Network 학습을 통한 감정 텍스트 생성에 관한 연구

김우성; 김현철

Generative Adversarial Network 학습을 통한 감정 텍스트 생성에 관한 연구
A Study on the Emotional Text Generation using Generative Adversarial Network 원문보기

김우성 (고려대학교 컴퓨터학과) , 김현철 (고려대학교 컴퓨터학과)

GAN(Generative Adversarial Network)은 정해진 학습 데이터에서 정해진 생성자와 구분자가 서로 각각에게 적대적인 관계를 유지하며 동시에 서로에게 생산적인 관계를 유지하며 가능한 긍정적인 영향을 주며 학습하는 기계학습 분야이다. 전통적인 문장 생성은 단어의 통계적 분포를 기반으로 한 마르코프 결정 과정(Markov Decision Process)과 순환적 신경 모델(Recurrent Neural Network)을 사용하여 학습시킨다. 이러한 방법은 문장 생성과 같은 연속된 데이터를 기반으로 한 모델들의 표준 모델이 되었다. GAN은 표준모델이 존재하는 해당 분야에 새로운 모델로써 다양한 시도가 시도되고 있다. 하지만 이러한 모델의 시도에도 불구하고, 지금까지 해결하지 못하고 있는 다양한 문제점이 존재한다. 이 논문에서는 다음과 같은 두 가지 문제점에 집중하고자 한다. 첫째, Sequential 한 데이터 처리에 어려움을 겪는다. 둘째, 무작위로 생성하기 때문에 사용자가 원하는 데이터만 출력되지 않는다. 본 논문에서는 이러한 문제점을 해결하고자, 부분적인 정답 제공을 통한 조건별 생산적 적대 생성망을 설계하여 이 방법을 사용하여 해결하였다. 첫째, Sequence to Sequence 모델을 도입하여 Sequential한 데이터를 처리할 수 있도록 하여 원시적인 텍스트를 생성할 수 있게 하였다. 둘째, 부분적인 정답 제공을 통하여 문장의 생성 조건을 구분하였다. 결과적으로, 제안하는 기법들로 원시적인 감정 텍스트를 생성할 수 있었다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 GAN 모델에 Sequence to Sequence[1] 모델 적용 및 Conditional 한 데이터 생성 알고리즘을 적용하여 GAN 모델을 사용하여 학습할 때 발생할 수 있는 2가지 문제를 해결하고자 한다. Sequence to Sequence 모델은 문장 생성과 같이 Sequential 한 데이터에 적합하기 때문이다.
본 논문에서는 GAN을 사용하여 원시 감정 텍스트를 생성하고자 했다. 그에 따라 GAN의 무작위 생성을 해결하기 위해 Conditional GAN을 도입하였고, Sequential한 데이터를 사용하기 위하여 SeqGAN을 도입하여 Conditional SeqGAN으로 원시 문장을 생성하는 실험을 설계하였다.
본 논문에서는 이러한 제안 방법을 확인할 수 있는 원시 문장 생성 환경을 구축하였고, 각각에 제안 방법에 대해서 실험하였다. 실험 결과를 통한 기여는 다음과 같이 요약할 수 있다.
Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair†, Aaron Courville, Yoshua Bengio[2]가 최초로 제안한 개념으로, Generator와 Discriminator가 서로 적대적인 관계를 유지하면서 생산적인 관계 또한 유지하며 서로 경쟁을 통해 학습을 진행하는 신경망을 의미한다. 여기서 Generator는 최대한 Discriminator를 속여 자신이 직접 만든 결과물을 최대한 Discriminator가 자연스럽다고 여길 수 있도록 출력하는 것을 목표로 학습을 진행한다. 반대로 Discriminator는 최대한 Generator가 생산한 결과물을 부자연스럽다고 판단할 수 있도록 검출해 내는 것을 목표로 학습을 진행한다.

가설 설정

1. 문장과 같은 Sequential한 데이터에는 적합하지 않다.
2. 무작위로 생성하기 때문에 사용자가 원하는 데이터만 출력되지 않는다.

제안 방법

1. SeqGAN과 Conditional GAN을 합친 Conditional SeqGAN 모델을 감정 텍스트에 적용한다.
Conditional SeqGAN의 목표인 감정 세기에 따른 원시 문장생성을 위하여 Conditional SeqGAN을 구현하였다. 해당 모델을 이용하여 0에서 3 의 범위 내에서 무작위 자연수만큼의 세기를 입력 값으로 하였을 때 그에 해당되는 텍스트가 생성되었으며 학습을 생성자 10번, 구분자 10번, 생산적 적대 신경망 10번을 진행한 뒤 1만개의 원시 문장을 생성해내었다.
주어진 학습 데이터를 사용하여 Conditional SeqGAN[7]은 학습 데이터를 사용하여 생선적 적대 신경망을 통하여 감정세기가 분류된 원시 문장을 생성하게 된다. 감정이 “anger”인 상태에서 임의로 0에서 3까지의 감정세기를 무작위로 총 10000번 입력해 주었고 주어진 세기에 따라 총 10000개의 원시 Tweet문장을 생성하였다.
그 외에도 이모티콘과 같이 단어가 아닌 부분들에 대해서는 먼저 제거해주는 전처리를 진행하였다. 이후 문장들을 공백을 기준으로 하여 단어별로 모두 나누어 주었다.
본 논문에서는 GAN을 사용하여 원시 감정 텍스트를 생성하고자 했다. 그에 따라 GAN의 무작위 생성을 해결하기 위해 Conditional GAN을 도입하였고, Sequential한 데이터를 사용하기 위하여 SeqGAN을 도입하여 Conditional SeqGAN으로 원시 문장을 생성하는 실험을 설계하였다.
GAN에 Sequence한 데이터를 사용할 수 있도록 적용하는 초기 연구 중 하나는 Lantao Yu, Weinan Zhang, Jun Wang, Yong Yu[3]가 Generator를 LSTM과 강화학습을 사용하여 대처한 SeqGAN연구이다. 기존의 GAN은 Continuous한 데이터를 대상으로 하였으며 이는 즉 문장과 같이 Discrete한 데이터는 사용하기 어렵다는 단점을 해결하기 위하여 Generator에는 LSTM 구조를 사용하여 Discrete한 Token Sequence를 생성하도록 설정하였고, Discriminator는 CNN 구조를 사용하여 각 만들어진 sequence에 대해 판별을 진행하여 reward를 주고 이를 Policy Gradient를 통해서 LSTM을 업데이트 하도록 학습을 진행함으로 써 문제를 해결하였다.
해당 데이터는 4가지 열로 구성되어 있다. 먼저 첫 번째로 “Tweet”에는 2017년 6월과 7월 사이에 등록된 트위터의 문장들을 사용하였으며 “ID”에는 인덱스 ID를, “Affect Dimension”에는 Anger, Fear, Joy, Sadness 4가지 종류로 트위터 문장들을 구분하며, “Intensity Class”에는 “Affect Dimension”에서 구분된 감정들의 세기를 0에서 3까지로 분리하여, 0에서 가장 낮은 세기를, 3에서 가장 높은 세기를 보인 것으로 구분 되어 있다. 본 실험에서는 4가지 감정들 중 “Affect Dimension”상태 중 “Anger” 상태인 데이터만을 사용하여 “Anger”감정을 가졌을 때의 트위터 문장을 “Intensity Class” 구분에 맞게 문장을 생성하도록 데이터를 사용하도록 하였다.
먼저 첫 번째로 “Tweet”에는 2017년 6월과 7월 사이에 등록된 트위터의 문장들을 사용하였으며 “ID”에는 인덱스 ID를, “Affect Dimension”에는 Anger, Fear, Joy, Sadness 4가지 종류로 트위터 문장들을 구분하며, “Intensity Class”에는 “Affect Dimension”에서 구분된 감정들의 세기를 0에서 3까지로 분리하여, 0에서 가장 낮은 세기를, 3에서 가장 높은 세기를 보인 것으로 구분 되어 있다. 본 실험에서는 4가지 감정들 중 “Affect Dimension”상태 중 “Anger” 상태인 데이터만을 사용하여 “Anger”감정을 가졌을 때의 트위터 문장을 “Intensity Class” 구분에 맞게 문장을 생성하도록 데이터를 사용하도록 하였다.
본 장에서는 앞에 정의한 Conditional SeqGAN을 사용하여 실전 데이터에 해당 모델을 적용하면서 산출된 원시 문장들을 확인하고 해당 문장이 적절하게 생성되었는지에 대해 조사 및 평가에 관한 내용을 다룬다. 실험 환경은 모두 Python 3으로 구현하였다.
실험 결과에 기초하여 본 논문에서는 실험 내용에 서술한바 와 같이 Conditional SeqGAN을 사용함으로 써 Sequential한 문장 데이터를 활용하여 감정 세기와 같이 조건별로 원시 문장을 생성할 수 있었다.
위와 같은 가정에 기초하여 본 장에서는 Conditional SeqGAN 모델을 감정 텍스트 데이터에 적용하여 적절한 세기에 맞는 원시적인 문장을 생성하도록 한다.
이를 통하여 사용자는 원하는 특정 Condition에 부합하는 결과 값을 얻게 되었다. 이 연구를 기반으로 하여 Yi-Lin Tuan and Hung-Yi Lee[5]이 제안한 Conditional Sequence Generative Adversarial Nets는 Conditional GAN의 기법을 SeqGAN에 적용한 모델을 제안하였다.
Conditional SeqGAN의 목표인 감정 세기에 따른 원시 문장생성을 위하여 Conditional SeqGAN을 구현하였다. 해당 모델을 이용하여 0에서 3 의 범위 내에서 무작위 자연수만큼의 세기를 입력 값으로 하였을 때 그에 해당되는 텍스트가 생성되었으며 학습을 생성자 10번, 구분자 10번, 생산적 적대 신경망 10번을 진행한 뒤 1만개의 원시 문장을 생성해내었다. 생성된 원시 문장들은 학습한 Tweet 문장들을 최대한 흉내 낸 모습을 취하고 있으나, 대부분 문맥이나 문법을 대체로 맞추지 못하는 경우가 많았다.

대상 데이터

제안한 방법 및 모델에 적용하기 위해 사용한 데이터는 Semeval 2018 Task 1: Affects in Tweet[6]을 사용하였다. 해당 데이터는 4가지 열로 구성되어 있다.
학습데이터 중 문장 데이터는 “Tweet” 열에 존재하며 일반 문장들과 달리 140자의 짧은 문장이며, #(해시태그)와 @(맨션)들이 부가적인 기능으로 존재하여 사람들 간의 소셜 네트워크 활동을 돕는다. 맨션의 경우 다른 사람을 호칭하는 부가적인 기능을 가진 고유한 단어이고, 해시태그는 단어의 검색을 할 수 있다는 부가적인 기능을 소지하고 있는 단어이다.

이론/모형

2. 학습 시에 정답 또한 제공함으로 써 어느 하나의 답에만 치우치게 하는 것이 아니라 주어진 답에 맞추어서 생성할 수 있도록 Conditional 하게 설계된 Conditional SeqGAN 모델을 사용한다.

후속연구

향후 연구에서는 먼저 Conditional SeqGAN을 통해 생성된 원시 문장이 제대로 생성되었는지 평가하는 것을 우선시 할 것이며, 그 외에 문장이 제대로 문법에 맞추어 완전한 감정 텍스트를 생성할 수 있도록 하는 것이 궁극적인 연구의 목적이 될 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Generative Adversarial Network 학습을 통한 감정 텍스트 생성에 관한 연구
A Study on the Emotional Text Generation using Generative Adversarial Network 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Generative Adversarial Network 학습을 통한 감정 텍스트 생성에 관한 연구 A Study on the Emotional Text Generation using Generative Adversarial Network 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Generative Adversarial Network 학습을 통한 감정 텍스트 생성에 관한 연구
A Study on the Emotional Text Generation using Generative Adversarial Network 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper