[논문]딥러닝 기법을 이용한 노래 가사 생성 시스템

손성환; 이현영; 남규현; 강승식

딥러닝 기법을 이용한 노래 가사 생성 시스템
Song-lyrics Generation system by Deep Learning 원문보기

손성환 (국민대학교 컴퓨터공학과) , 이현영 (국민대학교 컴퓨터공학과) , 남규현 (국민대학교 컴퓨터공학과) , 강승식 (국민대학교 컴퓨터공학과)

본 논문에서는 한국 가요 학습 데이터를 노래 가사 마디 단위로 문자열을 역전시키는 형태로 변형하고 LSTM으로 학습하여, 마디 간의 문맥을 고려해 문자열을 생성하는 방법에 대해 제안한다. 그리고 이를 통해 특정 가요 가사와 유사하면서도 다른 가사를 생성하는 것도 가능하다. 문자열의 우측 끝에 위치하면서 마디 간의 문맥을 연결해 주는 서술어, 접속사와 같은 요소를 활용하기 위해 데이터를 변형하여 적용한다. 제안하는 방식으로 생성한 문자열이 단순히 문자열 데이터를 그대로 학습하여 생성하는 것보다 상대적으로 더 자연스러운 문맥으로 생성되는 것을 확인하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 논문에서는 특정 노래 가사의 기본적인 구조만을 가지고 다양하면서 유연한 변형의 노래 가사를 생성하고자 하였다. 초기에는 시작값으로 문장의 주어 또는 목적어에 해당되는 값들을 주고 문장을 생성하면, 해당 명사에 부합하는 문장들을 만들어 준다.
이러한 관점에 입각하여 정방향의 문자열 데이터로 학습한 모델에서 서술어를 시작값으로 주어 보았으나 해당 서술어에 부합되는 문자열이 생성되는 것이 아니라 해당 서술어 이후에 이어질 문자열이 생성되는 문제가 발생했다. 따라서 서술어를 기준으로 즉, 서술어를 시작으로 문장을 생성할 수 있는 방식으로 학습 데이터를 문장 단위로 역전시키는 방법을 적용하고자 하였다.
그러므로 견본 추출(Sampling)을 진행할 때 하나의 마디 당 입력받는 시작값이 서술어에 국한된 것이 아니라 노래 가사 마디의 끝에 해당하는 일부 문자열도 입력 리스트에 포함될 수 있다. 따라서 어떠한 방식으로 시작값를 정할 것인지 여러 가지 방법으로 시도하였다.
따라서 그보다 더 매끄러운 문자열을 생성하기 위해서는 문맥을 고려하는 작업이 필요하다. 따라서 일반적으로 문장의 구조가 단순하고, 문장 혹은 마디 간의 관계도 복잡하지 않은 노래 가사를 생성해보고자 하였다.
본 논문에서는 신경망을 활용한 언어 모델(Language Model)인 NNLM[4]을 기본적인 LSTM을 이용하여 구현하고, 한국어의 구조적인 특성을 고려하여 문맥이 고려되는 노래 마디 문자열을 생성하는 방법에 대해 기술한다.
본 논문에서는 한국어 가요 학습 데이터를 LSTM으로 학습하여, 마디 간의 문맥을 고려해 문자열을 생성하는 방법을 제안하였다. 각 노래 마디마다 특정 가요의 끝 음절 또는 어절을 시작점으로 입력하여 그 가사와 유사한 가사를 생성하였다.

제안 방법

주로 한 음절에 대한 표현 공간 크기와 LSTM 층의 깊이를 줄이는 식으로 수정하였다. 그리고 마디 단위로 생성하는 만큼 가능한 하나의 마디 단위로 학습하도록 학습 문자열 길이(Sequence Length)도 조정하였다.
예를 들어 ‘조금씩 잊혀져 간다’라는 마디에 대해 ‘다간 져혀잊 씩금조’로 뒤집은 것이다. 그리고 음절 단위의 학습과 예측을 위하여 역전시킨 데이터를 문자 단위로 한 칸 밀어서 학습을 위한 정답 레이블을 생성하였다.
본 연구에서는 학습 데이터와 유사한 패턴을 가지면서도 새로운 문자열을 생성하는 것이 필요했기 때문에 수정이 필요했다. 따라서 한음절에 대한 표현공간 크기(Embedding size)가 너무 크고, LSTM 층이 필요 이상으로 깊어 과도하게 학습이 된다고 판단하고 그에 맞춰서 값을 변경시켜 연구를 진행하였다.
또한 고정된 16줄의 구절을 정하고 랩 노래 가사 학습 데이터에서 운율에 맞는 가사들을 사용하여 생성하도록 하였다[10].
본 장에서는 LSTM을 이용한 언어 모델을 활용하여 데이터의 마디 단위 문자열 역전을 통해 문맥을 고려한 노래 마디 생성에 대한 구체적인 방법론에 대해 기술한다.
실험 결과에 사용된 노래는 김광석의 ‘서른 즈음에’, ‘너무 아픈사랑은 아니였음을’, 양희은의 ‘늘 그대’의 일부분이다. 선정 기준은 한글로 이루어지고, 시적 허용 어절이나 구문들이 거의 없는 노래 가사를 기준으로 하였다.
지속적인 실험 끝에 가장 적합하다고 판단되는 모델의 구조는 표 3과 같았다. 주로 한 음절에 대한 표현 공간 크기와 LSTM 층의 깊이를 줄이는 식으로 수정하였다. 그리고 마디 단위로 생성하는 만큼 가능한 하나의 마디 단위로 학습하도록 학습 문자열 길이(Sequence Length)도 조정하였다.
기존에도 시나 노래 가사와 같은 문자열을 생성하는 연구들이 있었다[5,6,7,8]. 해당 연구에서는 특정 노래 가사에서 문장의 구조를 가져오고, 입력받은 시작값을 토대로 그 문장 구조의 일부 동사나 명사에 해당하는 부분을 치환하는 방식을 사용하였다. 그리고 랩 가사와 관련된 연구는 한 마디의 입력을 통해 일정 부분 의도된 랩 마디를 생성하는 시스템을 제시하였다[9].

대상 데이터

학습 데이터는 발라드 장르의 노래 가사들의 모임이며, 표 1과 같이 총 마디 수는 약 33만 개 문자 수는 약 420만 개 정도이다. 해당 데이터를 마디 단위로 문자열을 역전시켰다.

이론/모형

학습은 예측한 음절과 정답 음절의 표현공간(Embedding) 값들의 차이에 의한 최종 비용값과 LSTM의 상태(State)값을 계산하는 것부터 시작한다. 계산된 최종 비용값의 편미분 결과를 벡터로 정리한 기울기(Gradient)에 기울기 클리핑(Gradient-Clipping) 기법을 적용하여, 기울기의 최대 크기를 제한 및 조정한다. 이후 조정된 기울기를 가지고 손실(Loss)값을 줄이는 방향으로 가중치를 갱신하는 학습이 이뤄진다.
학습 모델은 LSTM 모델을 사용하였다. 학습 데이터를 토대로 잘 학습시키기 위해 LSTM 모델의 매개변수 (Hyperparameter)를 정하는 데에는 많은 시행착오를 겪었다.

성능/효과

마디의 마지막 부분을 입력으로 그에 부합하는 문자열을 생성하기 때문에 원문 노래 가사와 유사한 형태의 문자열들을 생성하게 된다. 그리고 마디와 마디 사이에 문맥이 얼추 자연스러운 문장처럼 보이는 것을 확인하였다.
어절의 경우 실험의 목적이 마디의 우측 끝에 위치하는 서술어나 접속어를 입력으로 주려고 하였기 때문에 기본적으로는 1어절, 해당 어절이 1음절일 경우 해당 입력값이 가지고 있는 정보가 부족한 경우가 대부분이기 때문에 해당 어절과 이전 어절까지 포함하여 2어절을 입력으로 주는 것을 시행하였다. 실행 결과, 마디 끝 4음절 또는 1~2어절을 입력값으로 선정했을 때 상대적으로 좋은 결과가 나온다고 판단했다.
각 노래 마디마다 특정 가요의 끝 음절 또는 어절을 시작점으로 입력하여 그 가사와 유사한 가사를 생성하였다. 제안하는 방법으로 생성한 문자열이 단순히 문자열 데이터를 그대로 학습하여 생성하는 것보다 상대적으로 더 자연스러운 문맥으로 생성되는 것을 확인하였다.

후속연구

품질이 좀더 우수한 문장을 생성하기 위해 문장과 문장 간의 문맥을 고려한 한글 언어 모델을 적용하는 방안을 고려할 수 있다. 또한, Seq2Seq Encoder에 마디의 어미 부분을 입력으로 주고, Seq2Seq Decoder에서 그에 알맞은 문자열을 생성하는 모델을 적용하여 성능을 향상시킬 수 있을 것이다.
그 결과 학습에 사용한 데이터를 거의 그대로 생성하는 과적합 문제가 발생하였다. 본 연구에서는 학습 데이터와 유사한 패턴을 가지면서도 새로운 문자열을 생성하는 것이 필요했기 때문에 수정이 필요했다. 따라서 한음절에 대한 표현공간 크기(Embedding size)가 너무 크고, LSTM 층이 필요 이상으로 깊어 과도하게 학습이 된다고 판단하고 그에 맞춰서 값을 변경시켜 연구를 진행하였다.

핵심어

질문

논문에서 추출한 답변

순환망 방식은 어떻게 문자열을 생성하는가?

기계 학습은 주어진 학습 데이터의 패턴을 익히고 그것을 토대로 데이터를 분별하거나 생성하는 모델을 만들어낸다. 그중에서 순환망 방식은 어떤 단어 혹은 글자가 시작값(Seed)으로 주어지면, 그 시작값을 시작으로 패턴에 일치하는 문자열을 생성한다. 일반적으로 학습 데이터에 없는 새로운 문자열들을 그럴듯하게 생성한다.

자연어 생성에 여전히 많은 문제들이 존재하는 이유는?

자연어 생성은 지속적인 연구로 점차 발전하고는 있지 만, 여전히 많은 문제들이 존재한다. 대부분의 언어 모델은 결국은 학습 문자열들이 가지고 있는 패턴을 익히고 나열하는 것이기 때문에 적어도 짧고 간단한 문장은 사람 못지않은 훌륭한 문장을 생성하는 것이 가능하다. 그러나 문장이 길고 복잡해지거나 2개 이상의 문장을 생성할 때 문맥이 고려된 매끄러운 문장 및 문단을 생성하는 것은 힘든 일이다. 왜냐하면 문맥을 고려한 창조적인 글은 언어에 대한 고차원적인 이해가 필요하기 때문이다.

순서 데이터에 속하는 문자열이나 영상 같은 경우, 어디에 속하는 학습 모델을 사용하여 학습하는가?

순서 데이터(Sequence Data)에 속하는 문자열이나 영상 같은 경우 주로 순환신경망(Recurrent Neural Network; RNN)에 속하는 학습 모델을 사용하여 학습하는 것이 일반적이다. 기본적인 순환신경망의 경우 초기에 학습이 지속될수록 학습과정에서 과거에 입력된 정보를 잃어버리는 기울기 소멸(Vanishing Gradient)문제로 실질적으로 사용되는데 어려움이 있었다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝 기법을 이용한 노래 가사 생성 시스템
Song-lyrics Generation system by Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝 기법을 이용한 노래 가사 생성 시스템 Song-lyrics Generation system by Deep Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

딥러닝 기법을 이용한 노래 가사 생성 시스템
Song-lyrics Generation system by Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper